Google DeepMind zeigte am 25. Februar 2015 ein System, das klassische Atari-Spiele direkt aus Bildpunkten und dem jeweiligen Punktestand lernt. Der Deep Q-Network genannte Ansatz erhielt keine Regeln oder vorgefertigten Strategien. Als Eingaben dienten nur das Rohbild, die möglichen Steuerbefehle und die Belohnung durch die Spielwertung.
In Tests mit 49 Spielen übertraf DQN frühere Verfahren in 43 Fällen. In mehr als der Hälfte der Titel erreichte das System mindestens 75 Prozent des Niveaus eines professionellen menschlichen Spieletesters. Für die Darstellung künstlicher Intelligenz in Games war dabei besonders interessant, dass der Agent nicht nur feste Abläufe abarbeitete, sondern aus den Folgen seiner Aktionen lernte.
Ein Tunnel durch die Breakout-Mauer
Beim Atari-Klassiker Breakout entwickelte DQN eine eigene Spielstrategie. Der Agent grub zuerst an einer Seite einen Tunnel in die Mauer. Danach prallte der Ball hinter der Wand ab und zerstörte weitere Steine, ohne dass der Schläger jeden Treffer einzeln vorbereiten musste.
Technisch setzte DeepMind auf Experience Replay. Während des Trainings speicherte das System vergangene Spielsituationen und verwendete daraus zufällig ausgewählte Beispiele. Diese Wiederholung sollte die Trainingsdaten voneinander entkoppeln und half dabei, tiefe neuronale Netze mit Reinforcement Learning zu verbinden. Die Forscher beschrieben den Ansatz als Grundlage für Agenten, die aus Rohdaten Aktionen in Echtzeit ableiten.