Ollama ist ein quelloffenes Werkzeug, um offene Modelle auf dem eigenen Rechner auszuführen. Sie installieren es unter macOS, Windows oder Linux oder nutzen das offizielle Docker-Image und laden Modelle aus der Bibliothek, etwa gpt-oss, Qwen, Gemma und DeepSeek. Ollama stellt eine lokale REST-API und Client-Bibliotheken für Python und JavaScript bereit, sodass Anwendungen und Entwicklerwerkzeuge direkt damit arbeiten können. Zusätzlich gibt es einen optionalen Cloud-Dienst, in dem Modelle auf Servern von Ollama laufen.
Ollama wird von Ollama Inc. in San Francisco in den USA entwickelt und steht unter der MIT-Lizenz. Führen Sie Modelle lokal aus, bleiben Prompts und Antworten in Ihrer eigenen Infrastruktur. Bei den Cloud-Modellen ist das anders: Ollama hostet sie nach eigener Angabe überwiegend in den USA und kann Anfragen bei hoher Auslastung auch nach Europa und Singapur leiten. Laut Ollama werden Prompt- und Antwortdaten weder protokolliert noch für Training verwendet. Eine europäische Organisation, die Daten in eigener Hand behalten will, nutzt Ollama daher lokal.