LiteLLM ist ein quelloffenes KI-Gateway und LLM-Proxy. Es bietet eine einzige OpenAI-kompatible Schnittstelle zu mehr als hundert Modellanbietern, sodass Anwendungen das Modell wechseln können, ohne den Code zu ändern. Es steht als Python-SDK für den Einsatz innerhalb von Anwendungen und als Proxy-Server zur Verfügung, den Plattformteams zentral betreiben. Das Gateway ergänzt virtuelle Schlüssel, Kostenerfassung pro Nutzer oder Team, Rate Limits, Load Balancing, Caching, Guardrails wie die Maskierung personenbezogener Daten sowie SSO, um den Zugriff in einer Organisation zu steuern.
LiteLLM wird von BerriAI entwickelt, einem Unternehmen mit Hauptsitz in San Francisco in den USA. Der Kern des Gateways steht unter der MIT-Lizenz; Enterprise-Funktionen wie SSO und Audit-Logs unterliegen einer separaten kommerziellen Lizenz. Organisationen installieren es selbst mit Docker, Helm oder Terraform, auch in Air-Gap-Umgebungen, und laut Anbieter sendet die selbst gehostete Version keine Telemetrie. Das Gateway läuft damit in Ihrer eigenen Infrastruktur. Wohin Prompts gelangen, hängt von den Modellanbietern ab, an die Sie weiterleiten. Eine europäische Organisation kann LiteLLM daher mit in der EU oder selbst gehosteten Modellen kombinieren.