NVIDIA hat mit dem In-Game-Inferencing-SDK (NVIGI) eine Infrastruktur veröffentlicht, die lokal ausgeführte KI-Modelle über eine einheitliche API direkt in C++-Spiele und interaktive Anwendungen einbindet. Im Kern handelt es sich um einen GPU-optimierten, Plugin-basierten Inferenz-Manager, der ACE-Modelle in den Render- und Logikpfad eines Spiels integriert, ohne auf eine Cloud-Anbindung angewiesen zu sein. Die Inferenz läuft im Prozess des Spiels selbst, also als In-Process-Ausführung in C++, und nutzt verfügbare Beschleuniger sowohl auf der GPU als auch auf der CPU.

Technisch adressiert NVIGI ein Problem, das On-Device-KI in Spielen bislang erschwert hat: das gleichzeitige Belegen der GPU durch Grafik-Rendering und KI-Inferenz. Über die Compute-in-Graphics-Technik (CiG, CUDA in Graphics) richtet das SDK das CUDA-Scheduling so ein, dass Grafik- und KI-Berechnungen parallel und mit niedriger Latenz im selben Pipeline-Kontext stattfinden können. Das modulare Plugin-System trennt dabei Kern-Plugins für KI-Funktionen wie Spracherkennung, Sprachmodelle und Embeddings von Helfer-Plugins, die GPU-Scheduling und Netzwerkkommunikation übernehmen.

Mehrere Inferenz-Backends über eine API

NVIGI abstrahiert die Backend-Auswahl hinter einer einheitlichen Schnittstelle. Modelle lassen sich für TensorRT, ONNX Runtime und Llama.cpp laden und ausführen, ergänzt um die Möglichkeit, eigene Executor anzubinden. Die Ausführung erfolgt wahlweise auf einer CUDA-fähigen GPU oder auf der CPU, womit Entwickler die jeweils auf dem Endgerät vorhandenen Ressourcen nutzen können. Ausgeliefert wird das SDK als Windows-native DLLs. Auf Modellseite deckt das ACE-Ökosystem unter anderem Whisper für die Spracherkennung, kompakte Sprachmodelle wie Llama-3.2-3B, Nemotron-Mini-4B und Mistral-Nemo-Minitron sowie Embedding- und Vision-Modelle ab. Während das ACE Game Agent SDK die KI-Begleiter komfortabel an die Unreal Engine 5 anbindet, setzt NVIGI eine Ebene tiefer an und richtet sich an Teams, die ihre eigene C++-Codebasis pflegen.

Produktionsbeispiele: Smart Zoi und der KI-Boss Asterion

Als Anwendungsfälle der zugrunde liegenden ACE-Technologie nennt NVIDIA konkrete Spiele. In inZOI von Krafton sollen sogenannte Smart Zoi autonom auf Umgebung und Ereignisse reagieren und ihr Verhalten an der jeweiligen Persönlichkeit der Figur ausrichten. Der koreanische Entwickler Wemade setzt ACE im MMORPG MIR5 für den als KI-Boss bezeichneten Gegner Asterion ein. Dieser analysiert die Zusammensetzung einer Spielergruppe, priorisiert Angriffsziele und passt sein Muster an, sodass eine einmal erfolgreiche Strategie nicht beliebig wiederholbar bleibt. Das NVIGI-SDK liefert in diesem Zusammenhang die Laufzeit- und Integrationsschicht, die solche On-Device-NPC-KI in einer Produktionsumgebung tragfähig macht.