NVIDIA NeMo Guardrails is een open-sourcetoolkit om programmeerbare vangrails toe te voegen aan toepassingen die op grote taalmodellen draaien. Het zit tussen de applicatiecode en het model en kent vijf soorten rails: invoer, dialoog, retrieval, uitvoering (voor tool-aanroepen) en uitvoer. Deze richten zich op risico's zoals jailbreaks en promptinjectie en houden assistenten bij het onderwerp. Dialoogstromen worden beschreven in de modelleertaal Colang. Ontwikkelaars gebruiken het als Python-bibliotheek, via de opdrachtregel of als HTTP-guardrailsserver, en er is een Dockerfile beschikbaar.
Het project is uitgebracht onder de Apache 2.0-licentie en wordt onderhouden door NVIDIA, een Amerikaans bedrijf, binnen de GitHub-organisatie NVIDIA-NeMo. NVIDIA houdt het project in eigen hand; het wordt niet door een gemeenschap bestuurd. Omdat organisaties de toolkit zelf installeren en draaien, bepalen zij zelf waar die wordt gehost, ook op infrastructuur in de EU. De bibliotheek verzamelt anonieme telemetrie, die via omgevingsvariabelen of een do_not_track-bestand kan worden uitgeschakeld. Modellen die u als controle koppelt, brengen hun eigen hosting en jurisdictie mee.