NVIDIA NIM regroupe des microservices d'inférence préconditionnés pour exécuter des modèles d'IA sur des GPU NVIDIA. Chaque NIM est un conteneur qui réunit le modèle, un moteur d'inférence optimisé, les dépendances nécessaires et des API standard, également accessibles via le client OpenAI. Les conteneurs s'exécutent dans un centre de données, sur un poste de travail, en périphérie ou chez un fournisseur de cloud public, et évoluent sur Kubernetes.
NVIDIA Corporation est établie à Santa Clara, en Californie, et soumise au droit américain. Vous pouvez auto-héberger NIM sur votre propre infrastructure, de sorte que requêtes et données n'ont pas à quitter votre environnement ; l'usage en production exige une licence NVIDIA AI Enterprise. Le logiciel n'est pas open source et les modèles sont sous licences distinctes. NVIDIA propose aussi des points d'accès API hébergés pour le prototypage, dont la région n'est pas publiée. La politique de confidentialité cite des clauses contractuelles types et l'adhésion au Data Privacy Framework pour les transferts depuis l'Europe, et reconnaît que NVIDIA est soumise au droit américain.