In der neunten Episode des Podcasts „GeForce TechTalk 2.0“ diskutieren Jan von NVidia und Senior Deep Learning Engineer Fabian Weise die Anwendung von KI und neuronalen Netzwerken in der Spieleentwicklung. Die Gesprächspartner beleuchten sowohl Fabians ungewöhnlichen Werdegang über mehrere Studiengänge und Stationen bei Microsoft, Google und IBM als auch die aktuellen Fortschritte bei Nvidia im Bereich Neural Rendering und Echtzeit-Optimierung.
Werdegang und Tätigkeitsschwerpunkte
Fabian Weise absolvierte parallel Studiengänge in Mathematik, Informatik und Modedesign, absolvierte eine Ausbildung zum Fachinformatiker und sammelte praktische Erfahrung in den Bereichen High Performance Computing und Neurosimulation. In Projekten bei IBM simulierte er biologische Synapsen auf Supercomputern, bevor er über Microsofts National Security Office und ein Automotive-Team bei Nvidia schließlich im letzten Jahr eine Doppelrolle als Senior Deep Learning Engineer und Technical Artist bei den Lightspeed Studios übernahm.
KI-Integration in der Spieleentwicklung
Im Gespräch wird deutlich, wie sich KI-gestützte Verfahren von der Forschung hin zur Praxis verschoben haben. Beginnend mit den Grundlagen neuronaler Netze und CUDA-Optimierungen erläutert Weise, wie KI-Modelle heute sowohl das Training großer Datensätze in Rechenzentren als auch die Inferenz in Echtzeit auf Gaming-Hardware ermöglichen. Ein Schwerpunkt liegt auf der Minimierung von Latenz und Speicherbedarf, um bei begrenzten Ressourcen höhere Bildraten zu erzielen.
Neural Rendering, DLSS und Neural Shader
Fabian Weise führt in die Technologien ein, die Nvidia aktuell vorantreibt. Darunter Neural Rendering-Methoden wie Neural Texture Compression und Neural Shader, bei denen kleine, KI-optimierte Modelle manuell erstellte Shader-Kernels ersetzen und dadurch bis zu mehrere hundert Prozent Performance-Zuwachs bieten können. Auch DLSS4 und Multiframe-Generierung kommen zur Sprache, mit denen auf Basis von KI zusätzliche Frames erzeugt und so die Bildqualität in Echtzeit weiter gesteigert wird.
Rolle der Lightspeed Studios
Die Lightspeed Studios fungieren intern als „Kunde“ für Nvidia-Technologien und betreuen sowohl die Entwicklung von Demos für Messen wie GTC und CES als auch die Implementierung neuester Forschungsergebnisse in spielnahe Anwendungen. Technical Artists arbeiten dort eng mit den Künstlerteams zusammen, um prozedurale Inhalte zu erstellen, große 3D-Welten performant darzustellen und gleichzeitig Visuelles und Performance-Limits optimal auszutarieren.
Ausblick auf zukünftige Anwendungen
Abschließend diskutieren Jan und Weise die Perspektiven für KI-gesteuerte NPC-Interaktionen und multimodale Sprach- und Sensoreingaben in Spielen. Während aktuelle Deep-Learning-Modelle im Bereich Sprachverarbeitung bereits signifikante Fortschritte erzielen, bleibt der Weg hin zu generalisierter KI und humanoider Robotik noch lang. Die fortlaufende Optimierung von Training und Inferenz sowie niedrigere Hardwarehürden sollen jedoch dazu beitragen, dass KI-Anwendungen künftig noch breiter nutzbar werden.