Microsoft Research hat am 19. Februar 2025 Muse vorgestellt, nach eigener Darstellung das erste World and Human Action Model (WHAM). Das generative Modell erzeugt Spielgrafik, Controller-Eingaben oder beides zugleich und zielt auf die frühe Ideenfindung in der Spielentwicklung. Die zugehörige Forschungsarbeit erschien gleichzeitig in der Fachzeitschrift Nature. Hinter Muse stehen die Teams Game Intelligence und Teachable AI Experiences (Tai X) bei Microsoft Research, die dafür mit dem englischen Studio aus Cambridge zusammengearbeitet haben. Dieses Studio, Ninja Theory, gehört zu den Xbox Game Studios.
Eine Milliarde Bilder aus Bleeding Edge
Das Training lief ausschließlich über den 2020 veröffentlichten 4-gegen-4-Mehrspielertitel Bleeding Edge von Ninja Theory. Die Datengrundlage umfasst laut Microsoft Research mehr als eine Milliarde Bilder samt zugehöriger Controller-Aktionen. Das entspricht rund sieben Jahren ununterbrochenem menschlichem Spielverlauf. Die Aufzeichnungen stammen aus regulären Spielsitzungen, deren Nutzung die Endnutzer-Lizenzvereinbarung abdeckt. Aus diesem Material lernt das Modell die Spielmechanik und die Zusammenhänge zwischen Spielzustand und Spielereingabe.
Drei Fähigkeiten nennt Microsoft Research als zentral für die kreative Arbeit: konsistente Spielsequenzen, Vielfalt der erzeugten Verläufe und Persistenz von Nutzeränderungen. Letzteres heißt, dass eingefügte Elemente über die gesamte generierte Sequenz hinweg erhalten bleiben. Zusammenhängende Spielabläufe schafft Muse bis zu einer Länge von zwei Minuten.
Modellvarianten und was öffentlich verfügbar ist
Veröffentlicht wurden mehrere Varianten, darunter WHAM-206M und WHAM-1.6B mit 206 Millionen beziehungsweise 1,6 Milliarden Parametern. Die Bildauflösung liegt bei 300 mal 180 Pixeln und damit höher als die zuvor genutzten 128 mal 128 Pixel. Über Azure AI Foundry gibt Microsoft Research offene Modellgewichte, Beispieldaten und das ausführbare Werkzeug WHAM Demonstrator für die weitere Forschung frei.
Die Nature-Arbeit trägt den Titel „World and Human Action Models towards gameplay ideation“ und versteht Muse nicht als Werkzeug zur reinen Bilderzeugung, sondern als Hilfe für kreative Prozesse in der Spielentwicklung. Die Originalpublikation ist zu finden unter dem Link in der Nature-Onlineausgabe.