Robert Jr. Caruso hat ChatGPT gegen ein Schachprogramm für den Atari 2600 antreten lassen und dabei wiederholt Fehler bei der Erfassung des Spielzustands beobachtet. In seinem Originalbeitrag vom 7. Juni 2025 beschreibt er einen rund 90-minütigen Versuch mit dem Stella-Emulator. Nach seiner Darstellung spielte das Atari-Programm auf der Anfängerstufe; ChatGPT konnte sich auch unter diesen Bedingungen nicht durchsetzen.
Caruso berichtete, dass ChatGPT Türme mit Läufern verwechselte, Bauerngabeln übersah und die Position einzelner Figuren verlor. Er habe mehrfach pro Zug korrigierend eingreifen müssen. Das zunächst abstrakte Erscheinungsbild der Atari-Figuren war laut seinem Bericht nicht die einzige Schwierigkeit: Auch der Wechsel zur üblichen Schachnotation habe keine ausreichende Verbesserung gebracht.
Einzelversuch mit begrenzter Aussagekraft
Der Beitrag nennt keine konkrete Modellversion und enthält kein vollständiges Partien- oder Promptprotokoll. Aus dem geschilderten Ablauf lässt sich deshalb keine allgemeine Rangliste von Sprachmodellen ableiten. Belegt ist zunächst Carusos Beobachtung: Bei dieser Nutzung reichte die sprachliche Beschreibung des Spiels nicht aus, um den Brettzustand zuverlässig über mehrere Züge zu verfolgen.
Für systematische Vergleiche braucht es festgelegte Schnittstellen und dokumentierte Bedingungen. Einen solchen Forschungsansatz hatten DeepMind und Blizzard bereits mit einer offenen StarCraft-II-Umgebung angekündigt. Dort sollten Programme über definierte Bilddaten und Informationen zum Spielzustand trainiert und verglichen werden. Carusos manuell begleiteter Schachversuch liefert dafür keinen gleichartigen Benchmark.