Microsoft Research und das von Microsoft übernommene Team Maluuba haben ein System entwickelt, das in der Atari-2600-Version von Ms. Pac-Man die Höchstpunktzahl von 999.990 Punkten erreichte. Die Untersuchung nutzt das Spiel als Testumgebung für Verstärkungslernen.
Maluuba verteilte die Aufgabe auf mehr als 150 spezialisierte Agenten. Jeder Agent erhielt ein eigenes Ziel, etwa das Einsammeln von Punkten oder das Ausweichen vor Geistern. Ein übergeordnetes System bewertete die Vorschläge und führte sie zu einer gemeinsamen Spielstrategie zusammen. Microsoft beschreibt dieses Vorgehen als Divide-and-Conquer-Ansatz.
Mehr als 150 Agenten teilen die Aufgabe
Die einzelnen Agenten beobachten nicht zwangsläufig dieselben Spielsituationen. Ihre Bewertungen entstehen aus begrenzten Teilaufgaben, die sich parallel bearbeiten lassen. Der übergeordnete Agent gewichtet diese Vorschläge und entscheidet, welche Aktion als Nächstes ausgeführt wird. Damit wird die Steuerung nicht einem einzigen Modell überlassen, das jede mögliche Situation vollständig abbilden muss.
Ms. Pac-Man als Test für Verstärkungslernen
Microsoft führt Ms. Pac-Man als anspruchsvolle Testumgebung auf, weil die Regeln leicht verständlich sind, die konkrete Spielsituation aber durch Bewegungen der Geister und begrenzte Informationen unvorhersehbar bleibt. Die veröffentlichten Versuchsdaten von Maluuba dokumentieren die Architektur und die Auswertung des Systems.
Für die Spieleentwicklung ist der Versuch vor allem als technische Messumgebung interessant. Spiele liefern klar definierte Zustände, Aktionen und Belohnungen, stellen lernende Systeme aber zugleich vor langfristige Entscheidungen und wechselnde Gegnerverhalten. Auch OpenAI Universe setzte Videospiele als Trainingsumgebung für künstliche Intelligenz ein.