LangKit ist ein Open-Source-Toolkit zur Überwachung von Sprachmodellen. Es extrahiert messbare Signale aus Prompts und Antworten, etwa Lesbarkeit und Komplexität, Ähnlichkeit zwischen Prompt und Antwort, Stimmung und Toxizität. Für Sicherheit und Datenschutz zählt es Muster regulärer Ausdrücke, um sensible Daten wie Karten- und Telefonnummern zu markieren, vergleicht Texte mit bekannten Jailbreak- und Prompt-Injection-Beispielen und erkennt Verweigerungen. LangKit arbeitet mit der Logging-Bibliothek whylogs zusammen und wird als Python-Paket über PyPI installiert. Es ist eine Bibliothek und kein gehosteter Dienst, Sie betreiben es also in Ihrer eigenen Umgebung.
LangKit wurde von WhyLabs, einem US-Unternehmen, entwickelt und steht unter der Apache-2.0-Lizenz. Da der Code in Ihrer eigenen Infrastruktur läuft, bleiben Prompts und Antworten dort, solange Sie nicht selbst Logs oder Statistiken an einen externen Dienst senden. Der Quellcode ist einsehbar und lässt sich bei Bedarf forken. Das Repository sagt nichts dazu, ob das Projekt aktiv gepflegt wird; WhyLabs hat inzwischen zudem den Quellcode seiner Plattform als Open Source veröffentlicht. Prüfen Sie daher vor dem Produktiveinsatz den Wartungsstatus.