NVIDIA NIM sind vorgepackte Inferenz-Microservices, mit denen Organisationen KI-Modelle auf NVIDIA-GPUs betreiben. Jede NIM ist ein Container mit dem Modell, einer optimierten Inferenz-Engine, den nötigen Abhängigkeiten und Standard-APIs, die sich auch über den OpenAI-Client ansprechen lassen. Die Container laufen im Rechenzentrum, auf einer Workstation, am Netzwerkrand oder bei einem öffentlichen Cloud-Anbieter und skalieren auf Kubernetes.
NVIDIA Corporation hat ihren Sitz in Santa Clara, Kalifornien, und unterliegt US-Recht. NIM lässt sich auf eigener Infrastruktur selbst hosten, sodass Prompts und Daten Ihre Umgebung nicht verlassen müssen; für den Produktivbetrieb ist eine NVIDIA-AI-Enterprise-Lizenz erforderlich. Die Software selbst ist nicht Open Source, und die Modelle werden separat lizenziert. Zusätzlich gibt es von NVIDIA gehostete API-Endpunkte für Prototyping, deren Region nicht veröffentlicht ist. Die Datenschutzerklärung nennt Standardvertragsklauseln und die Teilnahme am Data Privacy Framework für Übermittlungen aus Europa und räumt ein, dass NVIDIA US-Recht unterliegt.