LangKit is een open-source toolkit voor het monitoren van taalmodellen. Het haalt meetbare signalen uit prompts en antwoorden, zoals leesbaarheid en complexiteit, gelijkenis tussen prompt en antwoord, sentiment en toxiciteit. Voor beveiliging en privacy telt het reguliere-expressiepatronen om gevoelige gegevens zoals kaartnummers en telefoonnummers te markeren, vergelijkt het teksten met bekende jailbreak- en prompt-injectievoorbeelden en detecteert het weigeringen. LangKit werkt samen met de dataloggingbibliotheek whylogs en wordt als Python-pakket geïnstalleerd via PyPI. Het is een bibliotheek en geen gehoste dienst, dus u draait het in uw eigen omgeving.
LangKit is ontwikkeld door WhyLabs, een Amerikaans bedrijf, en valt onder de Apache-2.0-licentie. Omdat de code in uw eigen infrastructuur draait, blijven prompts en antwoorden daar, tenzij u zelf logs of statistieken naar een externe dienst stuurt. De broncode is inzichtelijk en kan zo nodig worden geforkt. De repository vermeldt niet of het project actief wordt onderhouden; WhyLabs heeft inmiddels ook de broncode van zijn platform als open source gepubliceerd. Controleer daarom voor productiegebruik de onderhoudsstatus.