AI Model Serving ist ein Dienst innerhalb der Data-&-AI-Plattform von STACKIT, der Unternehmen per API Zugang zu großen Sprachmodellen gibt; die Produktseite nennt Llama 3.1 als Beispiel. Organisationen verbinden einen eigenen Chatbot oder eine eigene Anwendung mit einem Modell ihrer Wahl und können Unternehmensdaten über eine Open-Source-RAG-Vorlage ergänzen. Abgerechnet wird pro Token; der Dienst läuft in der STACKIT-Cloud und wird nicht als Software zur eigenen Installation bereitgestellt.
STACKIT wird von der Schwarz Digits Cloud GmbH & Co. KG betrieben, einem Unternehmen der Schwarz Gruppe in Deutschland, das sich als unabhängig von externen Investoren beschreibt. STACKIT gibt an, dass Kundendaten ausschließlich in Europa gehostet werden und die Dienste DSGVO-konform sind. Die Produktseite erklärt, dass Anfragen und Daten weder gespeichert noch zum Training von Modellen genutzt werden; dabei handelt es sich um eine Aussage des Anbieters. STACKIT bezeichnet sich als europäischer Hyperscaler; für Ihre Organisation ist das eine in Europa gehostete Alternative zu den Modelldiensten US-amerikanischer Hyperscaler.