OpenGateLLM est une passerelle API open source pour l'IA générative. Elle propose une API unique compatible OpenAI, derrière laquelle les requêtes sont acheminées vers des fournisseurs de modèles et des serveurs d'inférence tels que vLLM, Mistral, OpenAI et Text Embeddings Inference. Les organisations s'en servent pour piloter l'accès aux modèles de langage : rôles, utilisateurs et organisations, budgets par utilisateur, limitation de débit, suivi de l'inférence et mesure de l'empreinte environnementale. Elle s'installe comme logiciel serveur sur votre propre infrastructure ; le dépôt contient notamment un exemple Docker Compose.
Le projet est développé sous l'égide de la Direction interministérielle du numérique (DINUM) ; la licence MIT désigne la DINUM comme titulaire du droit d'auteur, et la documentation le décrit comme « powered by French Government ». Le code est librement disponible sur GitHub. Comme vous exploitez vous-même la passerelle, les requêtes et les données restent sous votre contrôle ; d'après le README, elle ne conserve pas l'historique des conversations. Selon ses auteurs, l'API est encore en bêta.