Ollama über die Konsole verwalten

Nach der Installation von Ollama steht euch die Konsole sofort zur Verfügung. Der Zugriff ist nur lokal möglich, das heisst, ihr müsst auf dem Rechner arbeiten, auf dem ihr Ollama installiert habt. Die Konsole ist ein einfaches aber mächtiges Werkzeug, um grosse Modelle (LLMs) zu verwalten und auszuführen.

Wer sich ein bisschen mit Docker auskennt, wird mit der Konsole keine Probleme haben. Jede Ähnlichkeit mit der Docker-Konsole ist mit Sicherheit nicht rein zufällig. Aber auch für Anfänger ist der Einstieg kein Problem. Die einzelnen Befehle sind kurz, prägnant und einfach zu merken.

Modelle verwalten

Um ein Modell auszuführen, reicht der Befehlollama run {modellname}Wenn sich das Modell noch nicht auf eurer Festplatte befindet, wird es zuerst heruntergeladen und dann ausgeführt. Das kann je nach Grösse des Modells eine ganze Weile dauern, wundert euch nicht.

Um ein Modell zu stoppen, das gerade ausgeführt wird, muss der Befehlollama stop {modellname}abgesetzt werden. Das betreffende Modell wird angehalten, verbleibt aber auf der Festplatte. Beim nächsten Start wird das Modell sofort gestartet und muss nicht mehr heruntergeladen werden.

Damit ihr eine Übersicht aller auf der Festplatte gespeicherten Modelle bekommt, könnt ihr den Befehlollama listeintippen. Es werden sämtliche Modelle, die sich auf der Festplatte befinden, aufgelistet.

Mit der Zeit wird der verfügbare Platz auf der Festplatte knapp. Mit dem Befehl ollama rm {modellname} könnt ihr ein einzelnes Modell von der Festplatte löschen, um Platz für neue Modelle zu schaffen.

Unter dem Menüpunkt Ollama CLI findet ihr eine Auflistung der wichtigsten Befehle für die Konsole, jeweils mit einer kurzen Erklärung.

Ollama starten und stoppen

Wenn ihr den Anleitungen auf diesen Seiten gefolgt seid, wird Ollama beim Start des Rechners automatisch gestartet und ist sofort verfügbar. Ollama läuft als Dienst im Hintergrund. Manchmal ist es notwendig, Ollama manuell zu stoppen und wieder zu starten. Um Ollama anzuhalten, reicht der Befehlsudo systemctl stop ollamaDer Befehl muss mit Sudo ausgeführt werden, weil ihr einen Linux-Systemdienst anhalten wollt. So etwas dürfen 'normale' Benutzer in der Regel nicht. Um Ollama wieder zu starten, könnt ihr einfach den Befehl sudo systemctl start ollama ausführen. Ihr könnt auch überprüfen, ob Ollama vom System sauber gestartet werden konnte. Dazu reicht der Befehl sudo systemctl status ollamaMehr Informationen zum Thema Dienste unter Debian findet ihr in der Beschreibung für den System- und Diensteverwalter (Systemd).