OpenAI hat mit OpenAI Five ein System vorgestellt, das fünf neuronale Netze für Dota 2 trainiert. Im offiziellen Bericht vom 25. Juni 2018 beschreibt das Forschungsteam Selbstspiel als zentrale Trainingsmethode. OpenAI Five spielte dabei gegen Amateurteams und sollte später für ein Match gegen Profis vorbereitet werden.
Das Training lief mit Proximal Policy Optimization und verteilte sich laut OpenAI auf 256 GPUs sowie 128.000 CPU-Kerne. Durch das Selbstspiel erzeugte das System nach eigenen Angaben täglich eine Menge an Partien, die etwa 180 Jahren Spielzeit entspricht. Die fünf Netze teilten sich die Aufgaben der fünf Spielfiguren und erhielten gemeinsame Informationen über das Spielgeschehen.
Selbstspiel ersetzt feste Gegnerdaten
OpenAI Five lernte nicht aus einer festgelegten Sammlung menschlicher Partien, sondern spielte fortlaufend gegen Kopien seiner selbst. Die Trainingsumgebung passte dabei die Spielstärke der Gegenspieler an. So sollte das System neue Strategien entwickeln und auf unterschiedliche Spielverläufe reagieren.
Dota 2 stellte für das Training mehrere technische Anforderungen: Fünf Figuren handeln gleichzeitig, die Sicht auf die Karte ist teilweise eingeschränkt und Entscheidungen wirken sich über längere Zeit aus. Für die Auswertung wurden deshalb nicht nur einzelne Aktionen, sondern auch spätere Ergebnisse der Partie berücksichtigt.
OpenAI knüpfte damit an die frühere Nutzung von Videospielen als Trainingsumgebung an. Der Dota-2-Versuch verschob den Schwerpunkt auf ein kompetitives Mehrspielerformat, in dem Koordination, langfristige Planung und Reaktion auf gegnerische Entscheidungen zusammenkommen.