Welche Rolle spielt die Hardware?

Mehr ist mehr

Die zur Verfügung stehende Hardware entscheidet darüber, welche LLMs verwendet werden können. Dabei gilt die Regel: Je besser die Hardware, desto leistungsfähigere LLMs können betrieben werden. Es sollte aber auch auf die Performance geachtet werden. Erfüllt die Hardware nur knapp die Anforderungen des installierten LLMs, hat das Auswirkungen auf die Performance des ganzen Systems. Das kann zu quälend langen Antwortzeiten führen. Besonders am Anfang, wenn ihr erste Erfahrungen sammeln wollt, ist es ratsam, sich in Bescheidenheit zu üben und ein LLM zu wählen, das problemlos mit den vorhandenen Ressourcen zurechtkommt.

Laut den Angaben auf der Website von Ollama reichen 8 GB RAM aus, um eine lokale KI zu betreiben. Nach meinen Erfahrungen sollten es besser 16 GB RAM sein, um eine akzeptable Antwortzeit zu gewährleisten. Das sollte aber niemanden davon abhalten, es nicht doch mit 8 GB RAM zu versuchen. Wichtig ist in dem Fall, dass euer Betriebssystem möglichst wenig von den vorhandenen 8 GB RAM für sich beansprucht. Falls ihr ein Linux für die KI verwenden wollt, ist es ratsam, das OS ohne Benutzeroberfläche (GUI) zu installieren. Dadurch spart ihr vom OS her Ressourcen, die Ollama für sich nutzen kann. Bedienen könnt ihr den Rechner ohne GUI über die sog. Shell. Das ist die traditionelle Benutzerschnittstelle mittels Eingabeaufforderung. Auch Ollama wird nach der Installation als Erstes via Eingabeaufforderung gesteuert.