Ollama Installieren

Wenn ihr den Anleitungen bis hierher gefolgt seid, so ist euer System für die Installation von Ollama bereit. Hier noch eine kurze Checkliste:

• Der Rechner erfüllt die Hardware-Anforderungen
• Debian bzw. Raspbian ist installiert und startet ohne Fehlermeldungen
• Curl ist installiert
• Optional: SSH-Zugriff ist getestet

Curl installieren

Curl ist ein Kommandozeilen-Tool, das unter anderem zum Übertragen von Dateien verwendet wird. Curl ermöglicht Benutzern, Daten von oder zu einem Server zu senden und zu empfangen, was es zu einem nützlichen Werkzeug für Entwickler und Systemadministratoren macht.

Wir benötigen Curl, um das Installations-Script von Ollama herunterzuladen. Curl gehört nicht zu den Standard-Systemwerkzeugen, die bei der minimalen Debian-Installation mitgeliefert werden. Deshalb muss es nachträglich mit APT installiert werden:sudo apt install curlNach der Installation solltet ihr unter anderem folgende Meldungen sehen:Entpacken von curl (7.88.1-10+deb12u12) ...
libcurl4:amd64 (7.88.1-10+deb12u12) wird eingerichtet ...Die Versionsnummer kann natürlich variieren, abhängig von der aktuellen Software-Version.

Ollama installieren

Für die Installation muss das Installations-Script heruntergeladen werden. Der Download und die Installation können in einem Befehl kombiniert werden. Der Vorgang kann je nach Qualität der Internetverbindung und den verfügbaren Hardware-Ressourcen unterschiedlich lange dauern.

Meldet euch am System an und tippt in der Shell (Eingabeaufforderung) folgenden Befehl ein:curl -fsSL https://ollama.com/install.sh | shGeduld ist auf alle Fälle gefragt, aber immerhin gibt es eine Fortschrittsanzeige, die euch auf dem Laufenden hält. Wenn die Installation abgeschlossen ist, solltet ihr unter anderem folgende Meldung sehen>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

Vermutlich seht ihr auch die MeldungWARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.Das heisst, dass Ollama keine GPU (Graphics Processing Unit) gefunden hat. Wenn der Rechner keine GPU verbaut hat, könnt ihr die Meldung getrost ignorieren.

Um ganz sicher zu sein, dass alles funktioniert, wie es soll, könnt ihr die Version von Ollama abrufen:ollama --versionSeht ihr eine Meldung in der Artollama version is 0.6.5ist die Installation erfolgreich verlaufen.

Geschafft, jetzt ist alles bereit für eure erste lokale künstliche Intelligenz 🥳

Als Nächstes kann ein LLM installiert werden. Für den Anfang reicht ein einfaches Modell aus.

Mit dem Befehl ollama run Modell-Name kann ein bestimmtes LLM gestartet werden. Findet Ollama das verlangte LLM nicht auf der Festplatte, so lädt Ollama das Modell automatisch herunter und startet es danach.

Zum ausbrobieren kann ein kleines Modell gestartet werden:ollama run gemma:2bAuch das kann seine Zeit dauern. Klein ist hier ein sehr relativer Begriff. Selbst das kleinste LLM übertrifft bei weitem die Grösse, die wir sonst von unseren Dateien her gewohnt sind. Immerhin gibt es auch hier eine Fortschrittsanzeige ... writing manifest
success
>>> Send a message (/? for help)

Ist die KI bereit, könnt ihr im Feld Send a message (/? for help) eure erste Frage stellen. Am besten versucht ihr es gleich mit Sprichst du Deutsch? Ich wünsche euch viel Vergnügen.

PS: Wundert euch nicht über die spartanischen, simplen Antworten. Das LLM gemma:2b ist ein simples Modell, die grösseren LLMs haben einiges mehr drauf.