Ollama-Modelle für 'kleine' Rechner
Hier ist nur eine kleine Auswahl von Modellen für den Anfang. Die Liste enthält nur Modelle, die mit mindestens 8GB RAM und nur einer CPU lauffähig sind. Ihr findet
weitere LLMs in der Ollama-Bibliothek. Wichtig ist, dass ihr euch vor dem Download informiert, ob die
Ressourcen eures Rechners für das Modell ausreichen. Ollama lädt das Modell zuerst herunter und überprüft erst dann, ob die verfügbaren Ressourcen des Systems ausreichen. Reichen die Ressourcen nicht aus, so beendet Ollama den Start mit einer Fehlermeldung und ihr habt das Modell umsonst heruntergeladen.
Zum starten eines bestimmten Modells könnt ihr einfach den Konsolen-Befehl ollama run verwenden. Für das
Modell gemma3 würde der entsprechende Befehlollama run gemma3:1blauten.
Gemma ist eine leichte Modellfamilie von Google, die auf der Gemini-Technologie
basiert. Die Gemma 3-Modelle sind multimodal - sie verarbeiten Text und Bilder - und verfügen über
ein Kontextfenster von 128K mit Unterstützung für über 140 Sprachen. Sie sind in den Größen 1B, 4B,
12B und 27B verfügbar und zeichnen sich in Aufgaben wie Fragenbeantwortung, Zusammenfassung und
Schlussfolgerungen aus, während ihr kompaktes Design den Einsatz auf ressourcenlimitierten Geräten
ermöglicht.
Deepseek-r1 ist besonders interessant, weil es eines der ersten '' LRMs (Large
Reasoning Model) ist. Der Hauptunterschied zwischen einem Large Language Model (LLM) und einem LRM
liegt in ihrem Fokus und ihrer Funktionalität. LRM Modelle sind darauf trainiert, komplexe
Schlussfolgerungen zu ziehen, logische Beziehungen zu erkennen und deduktives oder induktives Denken
anzuwenden. Die Modelle deepseek-r1:1.5b und deepseek-r1:7b sind für Rechner mit wenig
Ressourcen geeignet.
Phi-3 ist eine Familie leichter, hochmoderner offener Modelle in den Größen 3B
(Mini) und 14B (Medium) von Microsoft.
Die befehlsoptimierten Modelle von Llama 3 sind für Dialog- und
Chat-Anwendungsfälle optimiert und übertreffen viele der verfügbaren Open-Source-Chat-Modelle in
gängigen Benchmarks.
TinyLlama ist ein kompaktes Modell mit nur 1,1 Milliarden Parametern. Dank dieser
Kompaktheit eignet es sich für eine Vielzahl von Anwendungen mit begrenztem Rechen- und
Speicherbedarf.