Kosteneffiziente KI mit Ollama: Sprachmodelle lokal betreiben

Installation, Modellwahl, Hardware und API: wie Sie offene Sprachmodelle auf eigenem Rechner oder Server nutzen und wann sich das wirklich rechnet
Aktualisiert:
Abstract
- #Ollama
- #LLM
- #KI-Modelle
- #lokale Ausführung
- #Datenschutz
- #Kostenersparnis
- #Cloud-Dienste
- #Quantisierung
Ein Befehl, ein Modell, keine Daten in der Cloud – was Ollama leistet und wo seine Grenzen liegen
Eine Steuerkanzlei möchte Mandantenschreiben von einem Sprachmodell vorsortieren und zusammenfassen lassen. Die Idee ist schnell geboren, die Bedenken auch: Darf man Steuerunterlagen an einen Cloud-Dienst in den USA schicken? Und was kostet das, wenn jeden Tag Hunderte Dokumente durchlaufen? Für solche Fälle gibt es eine naheliegende Alternative: Das Modell läuft auf einem Rechner im eigenen Haus, die Daten verlassen das Netzwerk nie.
Ollama ist derzeit das bekannteste Werkzeug, um genau das ohne großen Aufwand zu tun. Es lädt offene Sprachmodelle mit einem Befehl herunter, startet sie und stellt sie über eine Programmierschnittstelle bereit. Dieser Beitrag zeigt, wie das praktisch funktioniert, welche Hardware Sie brauchen und wann sich der lokale Betrieb tatsächlich lohnt. Wer erst einmal verstehen möchte, wie eine KI-Anwendung insgesamt entsteht, von der Idee über Prompts und RAG bis zum Betrieb, beginnt besser mit dem Überblick KI-Entwicklung für Einsteiger.
Was Ollama ist und was nicht
Ollama ist eine quelloffene Laufzeitumgebung für Sprachmodelle, die unter macOS, Windows und Linux läuft. Im Kern besteht sie aus drei Teilen:
- einem Server, der Modelle in den Speicher lädt und Anfragen beantwortet,
- einer Befehlszeile (CLI), über die Sie Modelle laden, starten und verwalten,
- einer Modellbibliothek auf ollama.com, aus der fertig aufbereitete Modelle bezogen werden.
Unter der Haube nutzt Ollama unter anderem die Bibliothek llama.cpp und das Dateiformat GGUF, in dem Modelle platzsparend gespeichert werden. Für Anwender ist das weitgehend unsichtbar. Der Vergleich mit einem Paketmanager trifft es gut: So wie npm JavaScript-Pakete holt, holt Ollama Modelle samt passender Konfiguration.
Ollama ist dagegen kein Modell und kein Trainingswerkzeug. Die Qualität der Antworten hängt allein vom gewählten offenen Modell ab, und eigene Modelle trainieren Sie damit nicht. Ollama ist auch nicht das einzige Werkzeug dieser Art. LM Studio bietet eine ähnliche Funktion mit grafischer Oberfläche, GPT4All richtet sich stärker an Endanwender, und für den Hochlastbetrieb auf Servern gibt es spezialisierte Inferenzserver wie vLLM.
Installation und erste Schritte
Die Installation ist kurz. Unter macOS und Windows laden Sie das Installationsprogramm von ollama.com herunter, unter Linux genügt laut Hersteller ein Skript:
curl -fsSL https://ollama.com/install.sh | sh
Danach läuft der Ollama-Server im Hintergrund. Die wichtigsten Befehle der Befehlszeile:
ollama pull llama3.2 # Modell herunterladen
ollama run llama3.2 # Modell starten und im Terminal chatten
ollama list # heruntergeladene Modelle anzeigen
ollama ps # aktuell geladene Modelle und Speicherbedarf
ollama show llama3.2 # Details wie Parameterzahl, Kontextlänge, Lizenz
ollama rm llama3.2 # Modell löschen
Beim ersten ollama run lädt Ollama das Modell automatisch, falls es noch fehlt. Das kann je nach Modellgröße einige Gigabyte bedeuten. Danach antwortet das Modell direkt im Terminal. Inzwischen bringt Ollama unter macOS und Windows außerdem eine eigene Chat-Oberfläche mit, sodass auch Kolleginnen und Kollegen ohne Kommandozeile erste Versuche machen können.
Ein Hinweis, der oft übersehen wird: Ollama bietet mittlerweile auch Modelle an, die in der Cloud des Anbieters laufen. Wer Ollama gerade wegen der Datenhoheit einsetzt, sollte darauf achten, ausschließlich lokal laufende Modelle zu verwenden.
Welche Modelle es gibt und wie Sie wählen
Die Bibliothek umfasst Hunderte Modelle. Sie lassen sich grob in vier Gruppen einteilen:
- Sprachmodelle für Text und Chat, etwa aus den Familien Llama (Meta), Gemma (Google), Qwen (Alibaba), Mistral und gpt-oss (OpenAI). Sie beantworten Fragen, fassen zusammen, übersetzen und schreiben Code.
- Reasoning-Modelle, die vor der Antwort einen sichtbaren Denkprozess durchlaufen, zum Beispiel DeepSeek-R1 oder Qwen3. Sie sind bei mehrstufigen Aufgaben stärker, aber langsamer.
- Multimodale Modelle, die neben Text auch Bilder verarbeiten, etwa um Fotos von Lieferscheinen auszulesen.
- Embedding-Modelle wie nomic-embed-text, die Texte in Zahlenvektoren übersetzen. Sie sind die Grundlage für semantische Suche und RAG-Systeme.
Viele Modelle unterstützen zudem Tool Calling, können also strukturiert Funktionen Ihrer Anwendung aufrufen. Das ist Voraussetzung für Agenten, die etwa in einer Datenbank nachschlagen.
Für die Auswahl zählen vor allem drei Dinge. Erstens die Größe, angegeben in Milliarden Parametern (etwa 3B, 8B oder 70B). Größere Modelle antworten in der Regel besser, brauchen aber mehr Speicher und Zeit. Zweitens die Sprache: Nicht jedes kleine Modell schreibt gutes Deutsch, das sollten Sie mit eigenen Texten testen. Drittens die Lizenz. „Offen“ heißt nicht automatisch frei verwendbar. Manche Modelle stehen unter Apache 2.0, andere unter eigenen Lizenzen mit Nutzungsbedingungen. ollama show zeigt die Lizenz an; für den gewerblichen Einsatz sollten Sie sie lesen.
Unsere Empfehlung für den Start: zwei bis drei Modelle in der Größenordnung von 4B bis 14B mit echten Beispielen aus Ihrem Alltag vergleichen. Oft zeigt sich, dass ein mittelgroßes Modell für Zusammenfassungen und Klassifikationen völlig ausreicht.
Hardware: Was Ihr Rechner leisten muss
Der entscheidende Engpass ist Speicher. Ein Modell muss vollständig in den Arbeitsspeicher der Grafikkarte (VRAM) oder, langsamer, in den normalen Arbeitsspeicher passen. Damit das auf gewöhnlicher Hardware funktioniert, sind die Modelle in der Ollama-Bibliothek meist quantisiert. Quantisierung bedeutet, dass die Gewichte mit weniger Genauigkeit gespeichert werden, typischerweise mit etwa 4 Bit statt 16 Bit. Das spart rund drei Viertel des Speichers und kostet erfahrungsgemäß nur wenig Qualität.
Als grobe Faustregel für 4-Bit-Modelle gilt ein Speicherbedarf von gut einem halben Gigabyte pro Milliarde Parameter, plus Reserve für den Kontext, also die Menge Text, die das Modell gleichzeitig verarbeitet:
| Modellgröße | Speicherbedarf (ca., 4 Bit) | Typische Hardware |
|---|---|---|
| 3–4B | 3–4 GB | aktueller Laptop, auch ohne eigene Grafikkarte |
| 7–8B | 5–6 GB | Laptop mit 16 GB RAM oder Grafikkarte mit 8 GB |
| 12–14B | 9–10 GB | Grafikkarte mit 12–16 GB oder Mac mit 32 GB |
| 27–32B | 18–22 GB | Grafikkarte mit 24 GB oder Mac mit 48 GB und mehr |
| 70B | 40–45 GB | mehrere Grafikkarten, Workstation oder Mac mit viel RAM |
Grafikkarten von NVIDIA und AMD werden unterstützt, ebenso Apple-Rechner mit M-Chips. Bei Letzteren teilen sich Prozessor und Grafikeinheit den Arbeitsspeicher, weshalb ein Mac mit viel RAM auch größere Modelle ausführen kann. Ohne Grafikkarte läuft Ollama ebenfalls, aber deutlich langsamer. Für Experimente ist das in Ordnung, für Anwendungen mit mehreren Nutzern kaum.
Ein langer Kontext erhöht den Speicherbedarf spürbar. Wer ganze Verträge auf einmal zusammenfassen lassen will, braucht mehr Reserve als die Tabelle angibt. Den aktuellen Verbrauch zeigt ollama ps.
Die API: Ollama in eigene Anwendungen einbinden
Spannend für Entwickler wird Ollama durch seinen Server. Er lauscht standardmäßig auf Port 11434 und nimmt Anfragen über eine REST-API entgegen. Jede Anwendung im Netz kann ihn damit wie einen gewöhnlichen Webdienst ansprechen:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{ "role": "user", "content": "Fassen Sie in zwei Sätzen zusammen, was ein Mahnbescheid ist." }
],
"stream": false
}'
Für Python gibt es eine offizielle Bibliothek, die dieselben Funktionen kapselt:
# pip install ollama
from ollama import chat, embed
antwort = chat(
model="llama3.2",
messages=[{"role": "user", "content": "Nennen Sie drei Risiken lokaler KI-Modelle."}],
)
print(antwort.message.content)
# Embeddings, etwa für eine semantische Suche über eigene Dokumente
vektoren = embed(model="nomic-embed-text", input=["Wartungsintervall Pumpe P200"])
print(len(vektoren.embeddings[0]))
Zusätzlich stellt Ollama eine OpenAI-kompatible Schnittstelle unter /v1 bereit. Viele Werkzeuge und Frameworks, die für die OpenAI-API geschrieben wurden, funktionieren deshalb mit Ollama, wenn Sie nur die Adresse ändern. LangChain und LlamaIndex bringen eigene Anbindungen mit, für das AI SDK gibt es Community-Provider. Das macht Ollama auch als Entwicklungsumgebung attraktiv: Ein Team entwickelt und testet lokal ohne Kosten pro Anfrage und entscheidet später, ob die Produktion lokal oder bei einem Cloud-Anbieter läuft.
Grafische Oberflächen wie Open WebUI oder AnythingLLM setzen ebenfalls auf Ollama auf. Sie ergänzen einen Chat im Browser, Benutzerverwaltung und das Hochladen von Dokumenten, sodass ein einfaches internes RAG-System ohne eigene Programmierung entsteht.
Modelle anpassen mit dem Modelfile
Mit einer Textdatei namens Modelfile leiten Sie aus einem vorhandenen Modell eine angepasste Variante ab, ähnlich wie ein Dockerfile ein Container-Image beschreibt. Typisch sind eine feste Systemanweisung und angepasste Parameter:
FROM llama3.2
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
SYSTEM """
Sie sind ein Assistent für den internen Kundenservice.
Antworten Sie knapp und auf Deutsch. Erfinden Sie keine Bestellnummern.
"""
Mit ollama create service-assistent -f Modelfile entsteht daraus ein eigenes Modell, das sich wie jedes andere starten lässt. Über FROM lassen sich auch GGUF-Dateien, etwa von Hugging Face, einbinden. LoRA-Adapter unterstützt Ollama dagegen nicht mehr. Ein echtes Training findet dabei nicht statt. Das Modelfile ändert Verhalten und Voreinstellungen, nicht das Wissen des Modells.
Rechnet sich der lokale Betrieb?
„Keine Cloud-Kosten“ ist das häufigste Argument für Ollama, aber nur die halbe Rechnung. Lokal fallen keine Gebühren pro Token an. Dafür kosten Hardware, Strom, Wartung und die Arbeitszeit für Updates und Überwachung. Ein Server mit leistungsfähiger Grafikkarte ist eine spürbare Investition, und er rechnet sich nur, wenn er auch ausgelastet ist.
Angenommen, ein Team nutzt ein Sprachmodell gelegentlich für ein paar Dutzend Anfragen am Tag. Dann sind die API-Kosten eines Cloud-Anbieters meist gering, und die Cloud-Modelle sind in der Qualität überlegen. Anders sieht es aus, wenn eine Anwendung jeden Tag Tausende Dokumente klassifiziert, zusammenfasst oder für eine Suche aufbereitet. Hier summieren sich Token-Kosten, während ein mittelgroßes lokales Modell die Aufgabe oft ebenso gut erledigt. Für Entwicklung und Tests ist der lokale Betrieb fast immer günstiger, weil Entwickler beliebig oft ausprobieren können.
Neben dem Geld gibt es weitere Gründe, die oft schwerer wiegen:
- Datenschutz und Vertraulichkeit: Werden personenbezogene oder vertrauliche Daten nur auf eigener Hardware verarbeitet, entfällt die Übermittlung an Dritte. Die DSGVO gilt trotzdem, etwa bei Zweckbindung, Löschfristen und Zugriffsrechten.
- Planbarkeit: Ein lokales Modell ändert sich nur, wenn Sie es aktualisieren. Cloud-Modelle werden dagegen vom Anbieter weiterentwickelt oder abgekündigt.
- Offline-Betrieb: In Produktionshallen, auf Baustellen oder in abgeschotteten Netzen funktioniert ein lokales Modell auch ohne Internetverbindung.
Ehrlich bewertet: Die besten kommerziellen Modelle sind den offenen Modellen, die auf bezahlbarer Hardware laufen, bei komplexen Aufgaben weiterhin voraus. Für klar umrissene Aufgaben ist der Abstand aber oft klein genug, um nicht ins Gewicht zu fallen.
Vom Laptop in den Produktivbetrieb
Ollama ist auf Einfachheit ausgelegt, und das prägt auch seine Grenzen im Betrieb. Einige Punkte sollten Sie kennen, bevor Sie es für mehrere Nutzer einsetzen.
Sicherheit: Der Ollama-Server hat keine eigene Anmeldung. Standardmäßig lauscht er nur auf dem lokalen Rechner. Wer ihn über die Umgebungsvariable OLLAMA_HOST im Netzwerk freigibt, sollte ihn hinter einen Reverse Proxy mit Authentifizierung und Verschlüsselung stellen. Offen im Internet erreichbare Ollama-Server wurden in der Vergangenheit wiederholt entdeckt; jeder Fremde kann dort Rechenleistung nutzen oder Modelle verändern.
Last: Ollama kann mehrere Anfragen parallel bearbeiten und mehrere Modelle gleichzeitig laden, ist aber nicht auf hohe Nutzerzahlen optimiert. Für viele gleichzeitige Anfragen auf Grafikkarten-Servern sind Inferenzserver wie vLLM effizienter. Ein verbreitetes Muster ist daher, mit Ollama zu entwickeln und für die Produktion zu prüfen, ob es reicht.
Betrieb: Ein offizielles Docker-Image erleichtert den Einsatz auf Servern und in Kubernetes. Modelle und Ollama selbst sollten wie jede andere Software regelmäßig aktualisiert und überwacht werden, inklusive Antwortzeiten und Speicherauslastung.
Was das für Ihr Unternehmen bedeutet
Ollama hat den lokalen Betrieb von Sprachmodellen von einer Bastelaufgabe zu einer Sache von Minuten gemacht. Für Entwicklerteams ist es heute die naheliegende Wahl, um KI-Funktionen kostenfrei zu prototypen und mit offenen Modellen zu experimentieren. Für Unternehmen mit vertraulichen Daten, etwa in Kanzleien, im Gesundheitswesen oder in der Industrie, ist es ein pragmatischer Weg, Sprachmodelle zu nutzen, ohne Daten aus dem Haus zu geben.
Überschätzt wird oft der Kostenvorteil. Er stellt sich erst bei hohem, gleichmäßigem Volumen ein, und Hardware und Betrieb kosten ebenfalls Geld. Unterschätzt wird dagegen der Gewinn an Kontrolle: über Daten, Modellversionen und Verfügbarkeit. Wer beides nüchtern abwägt, landet häufig bei einer Kombination: lokale Modelle für vertrauliche und häufige Routineaufgaben, Cloud-Modelle für die anspruchsvollen Einzelfälle.
Wenn Sie Sprachmodelle auf eigener Infrastruktur einführen möchten, finden Sie auf unseren Seiten zu GPT4All und privat betriebenen Sprachmodellen sowie zu AnythingLLM als Oberfläche für Dokumente und Agenten Beratung, Coaching und Seminare.
Häufige Fragen zu Ollama
Ist Ollama kostenlos?
Die Software selbst ist quelloffen und kostenlos nutzbar. Kosten entstehen durch Hardware und Betrieb. Optionale Cloud-Angebote des Anbieters sind davon getrennt. Bei den Modellen gilt jeweils deren eigene Lizenz, die Sie vor dem gewerblichen Einsatz prüfen sollten.
Kann man mit Ollama eigene Modelle trainieren?
Nein. Ollama führt Modelle aus und passt sie über das Modelfile an, etwa mit Systemanweisung und Parametern. Für Fine-Tuning nutzen Sie Werkzeuge aus dem Python-Umfeld wie PyTorch oder Hugging Face und importieren das Ergebnis anschließend als GGUF-Datei in Ollama.
Wie gut sind lokale Modelle auf Deutsch?
Das hängt stark vom Modell und seiner Größe ab. Größere aktuelle Modelle schreiben in der Regel gutes Deutsch, sehr kleine Modelle neigen zu holprigen Formulierungen und Fehlern. Testen Sie deshalb immer mit typischen Texten aus Ihrem eigenen Alltag, bevor Sie sich festlegen.
Ist Ollama für den produktiven Einsatz geeignet?
Für interne Anwendungen mit überschaubarer Nutzerzahl ja, sofern Sie den Server absichern und überwachen. Für Anwendungen mit vielen gleichzeitigen Anfragen lohnt der Blick auf spezialisierte Inferenzserver. In beiden Fällen gehört der Rechner auf einen dedizierten Server statt auf einen Arbeitsplatz-PC.
Kategorien