Inspect ist ein quelloffenes Framework zur Evaluierung großer Sprachmodelle, entwickelt vom UK AI Security Institute (AISI) gemeinsam mit Meridian Labs. Es bietet Bausteine für Datensätze, Agenten, Tools und Scorer, eine große Zahl vorgefertigter Evaluierungen und einen webbasierten Log-Viewer. Inspect wird als Python-Paket installiert (pip install inspect-ai) und läuft auf Ihrer eigenen Infrastruktur; zum Testen eines Modells binden Sie das Paket des jeweiligen Modellanbieters und einen API-Schlüssel ein. Organisationen nutzen es, um Sicherheit und Fähigkeiten von Modellen reproduzierbar zu prüfen, als Alternative zu kommerziellen Plattformen für KI-Evaluierung und Red-Teaming.
Das Projekt stammt von einer britischen Regierungsstelle und unterliegt damit britischer Rechtsordnung, außerhalb von EU und USA. Die Software steht unter der MIT-Lizenz, sodass Sie den Code einsehen, anpassen und ohne Anbieterbeziehung intern nutzen können. Ein Cloud-Dienst der Entwickler ist nicht nötig; welche Daten an einen externen Modellanbieter gehen, hängt vom ausgewählten Modell ab.