NVIDIA NeMo Guardrails ist ein Open-Source-Toolkit, mit dem sich programmierbare Schutzmechanismen in Anwendungen auf Basis großer Sprachmodelle einbauen lassen. Es sitzt zwischen Anwendungscode und Modell und kennt fünf Arten von Rails: Eingabe, Dialog, Retrieval, Ausführung (für Tool-Aufrufe) und Ausgabe. Diese adressieren Risiken wie Jailbreaks und Prompt-Injection und halten Assistenten beim Thema; Dialogabläufe werden in der Modellierungssprache Colang beschrieben. Entwickler nutzen es als Python-Bibliothek, über die Kommandozeile oder als HTTP-Guardrails-Server; ein Dockerfile liegt bei.
Das Projekt steht unter der Apache-2.0-Lizenz und wird von NVIDIA, einem US-Unternehmen, in der GitHub-Organisation NVIDIA-NeMo gepflegt. NVIDIA kontrolliert das Projekt; es wird nicht von einer Community gesteuert. Da Organisationen das Toolkit selbst installieren und betreiben, bestimmen sie den Hosting-Standort selbst, auch in einer Infrastruktur in der EU. Die Bibliothek erhebt anonyme Telemetrie, die sich per Umgebungsvariable oder do_not_track-Datei abschalten lässt. Als Prüfinstanzen eingebundene Modelle bringen ihr eigenes Hosting und ihre eigene Rechtsordnung mit.