LiteLLM is een open-source AI-gateway en LLM-proxy. Het biedt één OpenAI-compatibele interface naar meer dan honderd modelaanbieders, zodat applicaties van model kunnen wisselen zonder code aan te passen. Het is beschikbaar als Python-SDK voor gebruik binnen applicaties en als proxyserver die platformteams centraal draaien. De gateway voegt virtuele sleutels, kostenregistratie per gebruiker of team, rate limits, load balancing, caching, guardrails zoals het maskeren van persoonsgegevens en SSO toe om toegang binnen een organisatie te beheren.
LiteLLM wordt ontwikkeld door BerriAI, een bedrijf met hoofdkantoor in San Francisco in de Verenigde Staten. De kern van de gateway valt onder de MIT-licentie; enterprise-functies zoals SSO en auditlogs vallen onder een aparte commerciële licentie. Organisaties installeren het zelf met Docker, Helm of Terraform, ook in air-gapped omgevingen, en volgens de aanbieder verstuurt de zelf gehoste versie geen telemetrie. De gateway draait dus in uw eigen infrastructuur. Waar prompts terechtkomen, hangt af van de modelaanbieders naar wie u routeert. Een Europese organisatie kan LiteLLM daarom combineren met in de EU gehoste of zelf gehoste modellen.