garak (Generative AI Red-teaming & Assessment Kit) ist ein Open-Source-Schwachstellenscanner für Sprachmodelle, der für LLMs ungefähr das leisten soll, was nmap oder Metasploit für Netzwerke leisten. Das Werkzeug prüft, ob sich ein Modell zu unerwünschtem Verhalten bringen lässt, etwa Halluzinationen, Datenabfluss, Prompt-Injection, Fehlinformationen, toxische Ausgaben und Jailbreaks, und nutzt dafür statische, dynamische und adaptive Probes. Unterstützte Ziele sind unter anderem Hugging Face, OpenAI, Cohere, Groq, AWS Bedrock, NVIDIA NIM, lokale GGUF-Modelle und jeder REST-Endpunkt. Sie installieren garak per pip und führen es selbst aus, zum Beispiel über die Kommandozeile.
garak wurde ursprünglich von Leon Derczynski entwickelt und wird heute von NVIDIA, einem US-Unternehmen, entwickelt und unterstützt; der Code liegt in der GitHub-Organisation von NVIDIA. Die Lizenz ist Apache 2.0, sodass Sie das Werkzeug vollständig in eigener Hand betreiben und Daten in Ihrer Umgebung behalten können. Ein gehosteter Dienst ist nicht erforderlich. Das Projekt wird jedoch von einem einzelnen Hersteller gesteuert, was für die langfristige Abhängigkeit relevant ist.