Einführung

Aller Anfang ist Linux

Der Einstieg in Linux lohnt sich allemal. Abgesehen davon, dass die meisten Distributionen kostenlos sind, verschafft es euch auch ein grosses Mass an Unabhängigkeit. Im Gegensatz zu den verbreiteten Betriebssystemen von Microsoft oder Apple steht hinter den Entwicklern des Linux-Kernels eine gemeinnützige Stiftung, deren Ziel es ist, Software kostenlos zur Verfügung zu stellen. Die Behauptung, dass Linux nur etwas für Nerds oder Hacker ist, gehört schon lange der Vergangenheit an. Zugegeben, der Einstieg in Linux ist etwas anspruchsvoller als vergleichsweise bei Windows oder macOS. Dafür habt ihr am Ende ein System, das euch gehört und das ihr kontrolliert, und nicht umgekehrt. Das heisst auch, ihr bekommt die volle Kontrolle über eure Daten. Linux bzw. Betriebssysteme, die auf dem sog. Linux-Kernel basieren, gibt es in verschiedenen Distributionen. Weil es verschiedene Distributionen gibt, seit ihr nicht an eine Distribution gebunden. Ihr könnt später zu einer anderen Distribution wechseln und dort das einmal erworbene Linux-Wissen weiter anwenden.

Eine der wohl bekanntesten und auch beliebtesten Distributionen ist Debian. Debian gehört nicht nur zu den ältesten und sichersten Linux-Distributionen, sondern ist auch zu 100% frei. Das heisst, Debian ist ohne Lizenzkosten erhältlich. Das ist auch der Grund, warum Debian sehr häufig für den Betrieb von Servern eingesetzt wird. Die Debian-Community ist aktiv und hilfsbereit, was bedeutet, dass Nutzer Unterstützung finden können, ohne auf kostenpflichtige Supportdienste angewiesen zu sein. Dies schafft ein Gefühl der Zugehörigkeit und ermutigt die Menschen, sich aktiv an der Weiterentwicklung der Software zu beteiligen.

Auf diesen Seiten wird die Installation einer lokalen KI mit Debian erklärt. Es ist auch möglich, die benötigte Software unter Windows oder macOS zu installieren. Weil die KI-Software unter Linux performanter ist und weil sich die Bedienung der KI-Software stark an Linux orientiert, haben Benutzer, die sich mit Linux auskennen, leichtes Spiel. Nicht zuletzt benötigt auch eine lokale KI einiges an Ressourcen. Debian kommt mit weniger Ressourcen zurecht als vergleichsweise Windows und ist deshalb für den Betrieb einer lokalen KI die erste Wahl.

Ollama

Ollama ist eine Software, die es Nutzern ermöglicht, KI-Modelle einfach zu verwenden und zu verwalten. Man kann sich Ollama wie eine Art Werkzeugkasten für Künstliche Intelligenz vorstellen. Mit dieser Software können Entwickler und Unternehmen verschiedene KI-Modelle, wie zum Beispiel Sprach- oder Bildverarbeitungsmodelle, auf ihren eigenen Computern oder Servern betreiben, ohne sich um die komplizierten technischen Details kümmern zu müssen. Insgesamt hilft Ollama dabei, die Nutzung von Künstlicher Intelligenz zugänglicher und benutzerfreundlicher zu gestalten.

Ollama eignet sich hervorragend zum Experimentieren mit KI-Modellen: Benutzer können verschiedene KI-Modelle testen und vergleichen, um herauszufinden, welches am besten für ihre spezifischen Bedürfnisse geeignet ist.

Large Language Modelle

Large Language Modelle (LLMs) sind eine Art von Künstlicher Intelligenz, die darauf trainiert ist, menschliche Sprache zu verstehen und zu erzeugen. Man kann sich LLMs wie sehr große und komplexe Textgeneratoren vorstellen, die aus einer riesigen Menge an Textdaten lernen. Sie können Texte schreiben, Fragen beantworten, Geschichten erzählen und sogar Gespräche führen.

Ollama und LLMs arbeiten zusammen, um die Nutzung von Künstlicher Intelligenz in der Sprache einfacher und zugänglicher zu machen. Ollama dient dabei als Plattform, auf der LLMs veröffentlicht bzw. deployed werden können. Wenn ihr Ollama nutzt, könnt ihr verschiedene LLMs auswählen und diese auf eurem Computer oder Server ausführen. Ollama kümmert sich um die technischen Details, sodass der Nutzer sich nicht mit komplizierten Programmierungen oder Setups herumschlagen muss.

Das Ziel

Mit Linux, Ollama und den passenden LLMs kann eine kostenlose lokale KI Wirklichkeit werden. Auf dem Weg dahin habt Gelegenheit, wichtige Dinge über die Entstehung und die Funktionsweise von künstlichen Intelligenzen zu lernen. Die Umsetzung der Lösung bietet nur einen Einstieg in die Welt der künstlichen Intelligenz. Der Schwerpunkt liegt auf der praktischen Umsetzung der Lösung (learning by doing). Ihr werdet aber schnell herausfinden, welche Aspekte der künstlichen Intelligenz euch am meisten interessieren bzw. faszinieren. Im Netz gibt es viele Beiträge zum Thema und ich werde versuchen, Links zu nützlichen Informationen im Netz anzubieten.

Einziger Wermutstropfen: Ihr benötigt entsprechende Hardware, um die Lösung einigermassen performant umsetzen zu können. Mehr zu diesem Thema findet ihr unter dem Menüpunkt Hardware.