LiteLLM est une passerelle d'IA et un proxy LLM open source. Il offre une interface unique, compatible OpenAI, vers plus de cent fournisseurs de modèles, afin de changer de modèle sans modifier le code. Il existe en SDK Python, intégré aux applications, et en serveur proxy exploité de façon centralisée par les équipes plateforme. La passerelle ajoute clés virtuelles, suivi des dépenses par utilisateur ou équipe, limites de débit, répartition de charge, cache, garde-fous comme le masquage des données personnelles, et SSO.
LiteLLM est développé par BerriAI, dont le siège est à San Francisco, aux États-Unis. Le cœur est publié sous licence MIT ; les fonctions entreprise, comme le SSO et les journaux d'audit, relèvent d'une licence commerciale distincte. Les organisations l'installent elles-mêmes avec Docker, Helm ou Terraform, y compris en environnement isolé, et selon l'éditeur la version auto-hébergée n'envoie aucune télémétrie. La passerelle tourne donc dans votre infrastructure. La destination des prompts dépend des fournisseurs de modèles vers lesquels vous routez : vous pouvez l'associer à des modèles hébergés dans l'UE ou en auto-hébergement.