Microsoft Research hat am 4. April 2025 mit WHAMM ein Weltmodell vorgestellt, das eine spielbare Quake-II-Szene komplett in Echtzeit erzeugt. Der Name steht für World and Human Action MaskGIT Model, und das Modell baut auf der zuvor in der Fachzeitschrift Nature publizierten WHAM-Reihe aus der Muse-Familie auf. In Copilot Labs steht eine interaktive Fassung als Experiment bereit, die Controller-Eingaben direkt in generierte Spielbilder übersetzt. Hinter der Arbeit stehen die Bereiche Game Intelligence, Xbox Gaming AI und das Xbox Certification Team unter Leitung von Katja Hofmann und Haiyan Zhang.

Der wichtigste Fortschritt steckt in der Bildrate. WHAMM kommt auf mehr als zehn Bilder pro Sekunde, das Vorgängermodell WHAM-1.6B lieferte nur rund ein Bild pro Sekunde. Erst dieser Sprung macht echtes Spielen im Modell praktikabel. Bewegen, Kamera schwenken, springen, ducken, schiessen und Faesser zur Explosion bringen ist möglich. Objekte, die in die Szene gelangen, bleiben so lange erhalten, wie das Kontextfenster reicht.

Architektur und Trainingsdaten

WHAMM nutzt eine MaskGIT-Strategie. Dabei entstehen alle Bildtokens in mehreren Durchläufen parallel, was die Generierung spürbar beschleunigt. Gleichzeitig steigt die Auflösung von 300 x 180 Pixeln bei WHAM-1.6B auf 640 x 360 Pixel, also auf das Doppelte. Das System arbeitet zweistufig, mit einem Backbone-Transformer von rund 500 Millionen Parametern und einem Refinement-Transformer von etwa 250 Millionen Parametern. Für die Bildtokenisierung sorgt ein ViT-VQGAN mit 576 Tokens pro Bild. Das Kontextfenster fasst 0,9 Sekunden Spielzeit, also neun Bilder.

Auffällig ist der geringe Datenbedarf. WHAM-1.6B brauchte sieben Jahre Spielmaterial, WHAMM kam mit einer Woche gezielt aufgezeichneter Quake-II-Sitzungen aus einem einzigen Level aus. Professionelle Tester nahmen die Daten auf und kuratierten sie, damit eine konsistente und absichtsvolle Spielweise im Material steckt. Das Verhältnis von Datenmenge zu Modellqualität fällt damit ganz anders aus als bei breit angelegten Trainingsläufen.

Wo das Modell noch patzt

Die Schwaechen nennt Microsoft Research offen. Gegner geraten in den generierten Bildern oft unscharf, und der Schadensaustausch zwischen Spieler und Gegner läuft mitunter fehlerhaft. Das kurze Kontextfenster von 0,9 Sekunden sorgt dafür, dass Objekte außerhalb des Sichtfelds vergessen werden, woraus sich nebenbei ungewollte Exploits ergeben. Auch Zählwerte wie Lebenspunkte verfolgt das Modell unzuverlässig, und der Echtzeitbetrieb bringt eine merkliche Eingabeverzögerung mit.

Trainiert wurde nur an einem einzelnen Levelabschnitt von Quake II. Als Spielersatz taugt die Demonstration deshalb nicht, eher als Beleg dafür, dass sich interaktive Umgebungen in Echtzeit durch ein generatives Modell abbilden lassen. Die Originaldokumentation ist zu finden unter dem oben verlinkten Beitrag von Microsoft Research, das interaktive Experiment läuft in Copilot Labs.