NVIDIA hat auf der CES am 6. Januar 2025 autonome Spielcharaktere auf Basis der ACE-Technologie vorgestellt. Damit verschiebt sich der Fokus der Plattform vom rein dialogorientierten NPC hin zu Figuren, die ihre Umgebung wahrnehmen, eigene Pläne fassen und im Spielverlauf handeln. Die bisher gezeigten Charaktere waren vor allem auf Konversation ausgelegt. Die neuen Begleiter und Gegner sollen dagegen in vergleichbarer Frequenz wie menschliche Spieler agieren. Erste Integrationen kommen von KRAFTON für PUBG: BATTLEGROUNDS und inZOI sowie von NetEase für NARAKA: BLADEPOINT.
Technische Grundlage sind neue, für Spiele optimierte Small Language Models (SLMs). NVIDIA trennt dabei zwischen Wahrnehmungs- und Entscheidungsmodellen. Für die Kognition kommen Varianten der Mistral-Nemo-Minitron-Reihe zum Einsatz, vom 8B-Modell als primärem Entscheidungsträger bis zur 2B-Variante, die laut Hersteller in rund 1,5 GB VRAM passt. Die multimodale Wahrnehmung übernehmen separate SLMs: NemoAudio-4B-Instruct beschreibt Klangkulissen, NemoVision-4B-128k-Instruct verarbeitet Bild- und Rauminformationen, Parakeet-CTC-XXL-1.1B-Multilingual wandelt Sprache in Text. Nach Angaben von NVIDIA treffen die Charaktere acht bis dreizehn Mikroentscheidungen pro Sekunde, um die Reaktionsgeschwindigkeit menschlicher Spieler zu erreichen. Für ein dauerhaftes Gedächtnis greifen die Figuren per Retrieval Augmented Generation auf Embeddings des Modells E5-Large-Unsupervised zu.
Vom Mitspieler bis zum lernenden Boss
KRAFTON bringt die Technik in zwei Titel ein. In PUBG: BATTLEGROUNDS soll der PUBG Ally als Co-Playable Character agieren, also als Teamkamerad, der kommuniziert, taktische Hinweise gibt und Beute teilt. In der Lebenssimulation inZOI steuern die Smart Zoi genannten NPCs eigene Lebensziele und reagieren auf ihre Umgebung. KRAFTON bezeichnet die beiden Figuren als weltweit ersten mit NVIDIA ACE gebauten Co-Playable Character. NetEase setzt für NARAKA: BLADEPOINT MOBILE PC auf lokal berechnete KI-Teamkameraden, deren Verfügbarkeit für März 2025 angekündigt wurde. Wemade Next zeigt mit MIR5 KI-Bosse, die sich an die Taktik der Spieler anpassen.
Lokale Inferenz und weitere Entwicklerprojekte
Die Berechnung läuft über das NVIDIA In-Game Inference SDK direkt auf der Hardware der Spieler. Für Sprachausgabe und Spracherkennung lassen sich externe Dienste anbinden, genannt werden unter anderem Elevenlabs, Cartesia und OpenAI Whisper. Weitere Studios nutzen die SLMs jenseits der großen Marken: Meaning Machine generiert in Dead Meat Dialoge per Mistral-Nemo-Minitron-8B auf dem Gerät, GoodAI baut mit AI People eine Sandbox mit autonomen NPCs, TiGames demonstriert mit ZooPunk konversationelle KI in Kombination mit Stable Diffusion. Ergänzend bleibt NVIDIA Audio2Face für Gesichtsanimation und Lippensynchronisation im Programm, eingesetzt unter anderem in Alien: Rogue Incursion und World of Jade Dynasty.