OpenGateLLM is een open-source API-gateway voor generatieve AI. Het biedt één OpenAI-compatibele API waarachter u verzoeken doorstuurt naar modelaanbieders en inferentieservers zoals vLLM, Mistral, OpenAI en Text Embeddings Inference. Organisaties gebruiken het om toegang tot taalmodellen centraal te regelen: met rollen, gebruikers en organisaties, budgetten per gebruiker, rate limiting, monitoring van inferentie en het bijhouden van de milieu-impact. Het wordt als serversoftware op eigen infrastructuur geïnstalleerd; de repository bevat onder meer een Docker Compose-voorbeeld.
Het project is ontwikkeld onder de Franse Direction interministérielle du numérique (DINUM); de MIT-licentie noemt DINUM als houder van het copyright, en de documentatie omschrijft het als 'powered by French Government'. De code is vrij beschikbaar op GitHub. Omdat u de gateway zelf draait, blijven verzoeken en gegevens onder uw eigen beheer, en volgens de README slaat de gateway geen chatgeschiedenis op. Houd er rekening mee dat de API volgens de makers nog in bèta is en dat er ingrijpende wijzigingen kunnen volgen.