NVIDIA hat zur Computex 2023 die Avatar Cloud Engine (ACE) for Games am 28. Mai 2023 angekündigt. Dabei handelt es sich um einen Foundry-Dienst, der vortrainierte generative KI-Modelle bündelt, damit Studios sprachfähige Nicht-Spieler-Charaktere in ihre Titel integrieren können. ACE ist kein einzelnes Produkt. Es ist eine Zusammenstellung dreier bestehender NVIDIA-Bausteine, die über Cloud- oder On-Device-Deployment angesprochen werden. John Spitzer, Vice President Developer and Performance Technology bei NVIDIA, sieht in generativer KI das Potenzial, die Interaktivität zwischen Spielern und Spielfiguren zu verändern und die Immersion zu steigern.
Drei Microservices: NeMo, Riva und Audio2Face
Die Pipeline setzt sich aus drei klar abgegrenzten Diensten zusammen. NVIDIA NeMo liefert das Sprachmodell und lässt sich mit unternehmenseigenen Daten anpassen. Studios können einer Figur damit Lore, Hintergrundgeschichte und Sprachstil zuweisen. Über NeMo Guardrails sollen Antworten innerhalb definierter Grenzen gehalten werden, etwa um thematische Abschweifungen zu unterbinden. NVIDIA Riva übernimmt die akustische Ebene: automatische Spracherkennung (ASR) wandelt die Spielereingabe in Text, Text-to-Speech (TTS) erzeugt die gesprochene Antwort der Figur. Den visuellen Abschluss bildet NVIDIA Omniverse Audio2Face, das aus einer Audiospur passende Gesichtsanimationen ableitet. Audio2Face bringt Connectors für die Unreal Engine 5 und für MetaHuman-Charaktere mit, sodass die generierte Mimik direkt auf vorhandene Rigs übertragen werden kann.
Für die Entwicklung bedeutet das eine Kette von vier Verarbeitungsschritten je Dialogzeile: Spracherkennung, Sprachmodell-Inferenz, Sprachsynthese und Gesichtsanimation. Jeder dieser Schritte verursacht Latenz, weshalb die Gesamtreaktionszeit der NPCs 2023 die zentrale technische Größe blieb. Purnendu Mukherjee, Gründer und CEO des Partnerstudios Convai, erklärte, mit ACE ließen sich die für praxistaugliche KI-NPCs nötige Latenz und Qualität erreichen, und das auf eine Weise, die solche Figuren für nahezu jeden Entwickler kosteneffizient verfügbar mache. Die Modularität erlaubt zudem, einzelne Bausteine zu ersetzen oder nur Teile der Kette zu nutzen.
Die Tech-Demo „Kairos“ und die Pipeline-Grenzen
Als Referenzimplementierung zeigte NVIDIA gemeinsam mit dem Inception-Startup Convai die Demo „Kairos“. Darin steht der NPC Jin in einem Ramen-Shop, dessen Szene vom NVIDIA-Lightspeed-Studios-Kunstteam erstellt wurde. Die Demo läuft im NVIDIA RTX Branch der Unreal Engine 5 und wird mit RTX Direct Illumination (RTXDI) für raytraced Beleuchtung und Schatten sowie mit NVIDIA DLSS 3 gerendert. Convai integrierte die ACE-Module in seine eigene Plattform und speiste die Ausgaben in Unreal Engine 5 und MetaHuman ein, um Jin zu animieren. Die Figur reagiert in natürlicher Sprache und bleibt dabei an die hinterlegte Hintergrundgeschichte gebunden.
Für Gamedev-Studios markiert Kairos den Stand der Technik zum Zeitpunkt der Ankündigung, nicht ein fertiges Produktionswerkzeug. Die Demo lief auf High-End-RTX-Hardware, die mehrstufige Inferenz-Pipeline stellte spürbare Anforderungen an Rechenleistung und Verbindung. Offen blieben 2023 Fragen nach planbarer Antwortlatenz unter Last, nach Kosten pro gleichzeitig aktivem NPC sowie nach der inhaltlichen Steuerbarkeit der Sprachmodellausgabe über NeMo Guardrails hinaus. ACE positioniert sich als Baukasten, dessen produktive Reife von der weiteren Optimierung der einzelnen Microservices und ihrer Verzahnung abhing.