AnythingLLM ist eine KI-Anwendung, mit der Sie ohne großen Konfigurationsaufwand mit Ihren eigenen Dokumenten chatten und KI-Agenten einsetzen. Sie nutzen sie als Desktop-App für macOS, Windows und Linux oder betreiben sie mit Docker auf eigenen Servern für Mehrbenutzer-Umgebungen. Sie arbeitet mit lokalen Modellen und mit externen Anbietern für Sprachmodelle, Embeddings und Vektordatenbanken Ihrer Wahl. Außerdem gibt es eine Android-App, und der Anbieter bietet eine gehostete Variante an.
AnythingLLM wird von Mintplex Labs, Inc., einem US-Unternehmen, gepflegt und ist Open Source unter der MIT-Lizenz. Laut Anbieter verlassen Dokumente bei lokaler Nutzung Ihr Gerät nicht; die Websuche nutzt allerdings den externen Dienst You.com. Standardmäßig sendet die Software anonyme Nutzungsstatistiken über PostHog, ohne Inhalte von Chats oder Dokumenten. Mit der Einstellung DISABLE_TELEMETRY schalten Sie das ab. Beim Selbsthosting bestimmt Ihre Organisation, wo Daten liegen; wählen Sie einen externen Modellanbieter, gehen Prompts an diesen Anbieter.