Patronus AI ist ein KI-Unternehmen, das mit einer Plattform zum Testen der Zuverlässigkeit großer Sprachmodelle begann. Diese Plattform bietet die Erzeugung adversarialer Prompts, vorgefertigte Evaluierungen, Dashboards, die Evaluierung von Retrieval-Augmented-Generation-Workflows, Modellvergleiche und eine API zur kontinuierlichen Überwachung produktiver Modelle. Das Unternehmen hat zudem Forschungsmodelle wie Lynx zur Halluzinationserkennung und GLIDER zur Evaluierung veröffentlicht und nennt unter anderem Percival und RL Envs als Produkte. Auf seiner Website beschreibt es sich inzwischen als Labor, das simulierte digitale Umgebungen zum Training und zur Bewertung von Agenten baut. Kunden sind Entwickler und Unternehmen, die LLMs einsetzen.
Patronus AI hat seinen Hauptsitz in San Francisco, USA; US-Recht einschließlich des CLOUD Act kann daher auf die verarbeiteten Daten Anwendung finden. Die herangezogenen Quellen beschreiben weder Hosting-Regionen noch einen selbst gehosteten Betrieb, und die Website verweist auf Forschungsarbeiten statt auf Code-Repositories; die Plattform scheint proprietär zu sein. Europäische Organisationen sollten erfragen, wo Evaluierungsdaten verarbeitet werden.