Ein Forschungsteam von Intel Labs hat am 10. Mai 2021 das Projekt „Enhancing Photorealism Enhancement“ vorgestellt. Die Methode nutzt maschinelles Lernen, um gerenderte Bilder aus Grand Theft Auto V anhand von Referenzaufnahmen realistischer wirken zu lassen. Die zugrunde liegende Studie ist auf arXiv veröffentlicht.
G-Buffers statt klassischer Nachbearbeitung
Die Forschenden greifen auf zusätzliche Renderdaten des Spiels zurück, darunter Tiefeninformationen, Oberflächennormalen und Materialwerte. Ein neuronales Netz verarbeitet diese G-Buffers gemeinsam mit dem gerenderten Bild und erzeugt daraus eine Variante, die sich an Aufnahmen aus realen Straßenszenen orientiert. Das Verfahren arbeitet damit nicht nur als einfacher Farbfilter.
Die Projektseite von Intel Labs zeigt Vergleichsbilder und Videos aus GTA V und dem Datensatz Cityscapes. Der Code und die verwendeten Daten sind über ein öffentliches GitHub-Repository verfügbar. Das Projekt diente als Forschungsdemonstration und war nicht als offizieller Mod für den Vertrieb von GTA V vorgesehen.
Video der Forschungsdemonstration
Ein Video zeigt die von Intel Labs erzeugten Ergebnisse in Bewegung.