Das Raspberry Pi

Klein aber fein

Dieser kostengünstige Einplatinencomputer wurde ursprünglich für Bildungszwecke entwickelt, um das Programmieren und die Computertechnik zu fördern. Wer keine allzu hohen Ansprüche an die LLMs stellt, kann mit einem Raspberry schon einiges erreichen.

Geeignete Versionen gibt es bereits ab ca. 90 Euro zu kaufen. Mindestens 8 GB RAM und eine 32 GB SD-Karte sollten ausreichen. Ein 'Raspie' ist die kostengünstigste Möglichkeit, zu einer eigenen KI zu kommen. Für den Betrieb mit einem Raspberry sind die LLMs 'gemma:2b', 'phi' und 'tinyllama' gut geeignet. Was die Installation von Ollama anbelangt, so könnt ihr einfach der Anleitung für Debian Linux folgen.