Ollama: Sehr einfach lokal & offline Sprachmodelle nutzen

Veröffentlicht am 7. August 202513. Oktober 2025 von Matthias Kindt

Ollama ist eine offene Anwendung, mit der sich auf dem eigenen Rechner offene Sprachmodelle wie Gemma, Qwen oder Deepseek nutzen lassen und zwar ohne dass Daten auf Server in die USA oder China gelangen. Alles bleibt lokal auf dem eigenen Gerät. Dies war schon vorher möglich, aber nun hat Ollama seinem Programm ein schickes Chatinterface hinzugefügt, wodurch die Handhabung für Laien weitaus einfacher geworden ist.

Und so kann es gehen:

1) Ollama für das geeignete Betriebssystem auf dem eigenem Rechner installieren
2) Ollama öffnen und ein Sprachmodell herunterladen
3) Mit heruntergeladenem Modell direkt einen Chat starten
4) Das war’s! Schwierigkeitsgrad: „low“ 😉

Unten ist die Download-Seite von Ollama dargestellt und dort kann gerne der geeignete Button angeklickt werden, um die Anwendung z. B. für Windows zu installieren.

Ist die Installation nun abgeschlossen, dann öffnet einfach das Programm und schon ist das neue Interface mit Chatfunktion und Promptleiste sichtbar. Klickt Ihr auf das Drop-Down-Menü, dann lässt sich eines der Sprachmodelle auswählen. Diese lassen sich über das Download-Icon auf den eigenen Rechner herunterladen. Wichtig ist hierbei, dass die Models unterschiedlich groß sind und dementsprechend auch mehr oder weniger der Rechenleistung binden. Also Googles Gemma3:1B ist natürlich kleiner als Gemma3:12B.

Die untere Abbildung zeigt das offene Language Model Gemma3:4B im Einsatz, das ich auf meinen Rechner heruntergeladen und nun mit dem simplen Prompt „Erläutere die Grenzen von GenAI“ getestet habe. Dies hat auf meinem „Standard-Laptop“ etwas länger gedauert als bei einem Login via ChatGPT oder Gemini, aber die Geschwindigkeit und auch der Output waren insgesamt völlig ok.

Möchtet Ihr über Ollama ein Bild in den Chat hineinladen, dann fällt einem direkt auf, dass der notwendige Upload-Button gar nicht vorhanden ist. Zieht das Bild einfach von eurem Ordner in die Promptleiste rein. Ist das Modell multimodal, dann wird das Image wie im unteren Screenshot angezeigt. Dies eignet sich für eine Bildanalyse oder Ähnliches.

Im Chatfenster über den Button Einstellungen lässt sich z.B. das Kontext-Fenster (Context-Lenght) festlegen, also wie umfangreich die Inputs und Outputs ausgeführt werden können. Hier lässt sich dann ein bisschen herumspielen, auch hinsichtlich der größeren oder kleineren LLMs und deren Leistungsfähigkeit.

Auch die offenen Modelle „gpt-oss“ von OpenAI lassen sich über Ollama nutzen und zwar sowohl lokal als auch cloudbasiert. Ebenfalls ist mit „gpt-oss“ ein Web Search möglich. Seht dazu die unten hinzugefügten Buttons an der Promptleiste. Dies lässt sich nur kurz kostenlos testen, ansonsten benötigt es ein Upgrade.

Zum Abschluss noch der Hinweis, dass alle angebotenen LLMs in einer Übersicht bezüglich der Kennzahlen wie Größe, Kontext-Fenster oder Multimodalität verglichen werden können. Bei Gemma fällt bei „Input“ direkt auf, dass das kleine Modell Gemma3:1B keine Bilder verarbeiten kann und dementsprechend könnt ihr diese auch nicht in den Chat reinziehen. Achtet darauf. Viel Spaß!