OpenAI Five hat am 5. August 2018 ein Best-of-Three gegen ein Team aus Dota-2-Spielern gewonnen, die zum 99,95. Perzentil der Rangliste gehörten. Vier Mitglieder des Teams hatten laut OpenAIs offiziellem Benchmark-Bericht bereits professionell Dota 2 gespielt. Die Begegnung diente als Test für die Fähigkeiten des Systems unter Bedingungen, die näher am Wettbewerb lagen.
OpenAI Five gewann zwei Partien, während die menschliche Mannschaft das dritte Spiel für sich entschied. In dieser Runde wählte das Publikum die Helden des Systems bewusst gegen dessen Stärken aus. Der Benchmark wurde vor einem Livestream-Publikum von rund 100.000 Zuschauern ausgetragen.
Das Ergebnis baut auf dem zuvor beschriebenen Training von OpenAI Five mit Selbstspiel auf. Das System arbeitete mit fünf neuronalen Netzen, die gemeinsam in einem Mehrspielerformat agierten. Für die Bewertung war deshalb nicht nur die Reaktion auf einzelne Situationen entscheidend, sondern auch die Abstimmung zwischen den Spielfiguren.
Benchmark prüft Entscheidungen unter Unsicherheit
OpenAI wertete den Vergleich als Schritt zu KI-Systemen, die mit der Komplexität und Unsicherheit realer Aufgaben umgehen können. Dota 2 liefert dafür eine technische Testumgebung mit unvollständiger Sicht auf das Spielfeld, mehreren gleichzeitig handelnden Figuren und Entscheidungen, deren Folgen erst später sichtbar werden.