OpenGateLLM ist ein quelloffenes API-Gateway für generative KI. Es bietet eine einzige OpenAI-kompatible API, hinter der Anfragen an Modellanbieter und Inferenzserver wie vLLM, Mistral, OpenAI und Text Embeddings Inference weitergeleitet werden. Organisationen nutzen es, um den Zugriff auf Sprachmodelle zentral zu steuern: mit Rollen, Benutzern und Organisationen, Budgets pro Benutzer, Ratenbegrenzung, Überwachung der Inferenz und Erfassung des ökologischen Fußabdrucks. Es wird als Serversoftware auf der eigenen Infrastruktur installiert; das Repository enthält unter anderem ein Docker-Compose-Beispiel.
Das Projekt wird unter dem Dach der französischen Direction interministérielle du numérique (DINUM) entwickelt; die MIT-Lizenz nennt die DINUM als Inhaberin des Urheberrechts, und die Dokumentation beschreibt es als „Powered by French Government“. Der Code ist frei auf GitHub verfügbar. Da Sie das Gateway selbst betreiben, bleiben Anfragen und Daten unter Ihrer Kontrolle; laut README speichert das Gateway keinen Chatverlauf. Beachten Sie, dass die API nach Angaben der Entwickler noch in der Beta-Phase ist und größere Änderungen folgen können.