Zero Density aus Istanbul bringt die Unreal Engine in die Live-Regie. Das 2014 gegründete Unternehmen stellte seine Virtual-Studio-Software Reality Engine nach zwei Jahren Entwicklung erstmals auf der NAB-Messe 2016 vor und war nach eigenen Angaben der erste Anbieter, der Epics Engine im Live-Broadcast einsetzte. Epic Games beschreibt die Technik in einem Beitrag vom 11. September 2019 und verortet ihn in der eigenen Visual-Disruptors-Reihe.
Reality Engine kombiniert ein fotorealistisches virtuelles Studio mit einer AR-Lösung. Zum Werkzeugkasten gehören node-basierte Compositing-Funktionen in Echtzeit und der Reality Keyer, die proprietäre Freistellungstechnologie von Zero Density. Der entscheidende Unterschied zu klassischen Grafikpaketen liegt im Sendebetrieb: Das System muss framegenau arbeiten und darf keinen Frame verwerfen. Herkömmliche Grafikpakete liefern meist nur Füllsignal und Key-Signal und überlassen die Komposition dem Bildmischer. Zero Density dagegen rechnet mit Gamma, linearen Workflows und LUTs und holt Bedienmöglichkeiten zurück in die Live-Kette, die sonst nur der Offline-Nachbearbeitung vorbehalten waren. Post-Produktionskünstler erkennen nach Angaben des Unternehmens viele Bedienelemente aus Autodesk Flame Batch wieder.
Reality Keyer als Shader im GPU-Code
Weil Epic den vollständigen Quellcode der Engine offenlegt, kann Zero Density den eigenen Code direkt in Unreal Engine ansiedeln und Shader-Compiler, C++ sowie die Plattformunabhängigkeit der Engine nutzen. Der Reality Keyer ist dadurch ein Shader im GPU-Code. Er arbeitet mit einem Clean Plate, kombiniert dieses mit der Tracking-Funktionalität und erzeugt eine Mesh-Repräsentation der Green-Screen-Hintergrundbahn im Studio. Aus dieser dreidimensionalen Repräsentation generiert das Programm dynamische Garbage Masks, die auch bei schnellen Schwenks und Neigungen der Kamera eine saubere Freistellung halten. Die Projektion des Clean Plates unterstützt die Keying-Phase zusätzlich und hebt das Verfahren über einen einfachen Chroma-Keyer hinaus. In der Konzeption ähnelt der Ansatz dem Image Based Keyer von Foundry aus Nuke.
Bei der Kameraverfolgung ist das System bewusst offen: Zero Density nimmt Tracking-Daten der gängigen Industrielösungen entgegen, einschließlich Linsendaten, falls die Tracking-Software sie liefert. Fehlen diese Informationen, startet die Software mit Zoom- und Fokuswerten der letzten Kalibrierung und schätzt Krümmung der Linse sowie Blickfeld innerhalb der Engine. Fox Sports nutzt Reality Engine seit Februar 2019 und setzt die Freistellungstechnologie im NASCAR Race Hub ein.
RTX-Reflexionen und mehrere Engine-Instanzen
Ein großer Sprung der jüngeren Versionen war die Echtzeit-Raytracing-Unterstützung auf NVIDIA-RTX-Grafikkarten. Epic hatte den Stand des Echtzeit-Raytracings in Unreal Engine 4.23 Anfang September 2019 dokumentiert. Zero Density zeigte auf der NAB im April 2019 eine Vorschau von Reality Engine 2.8 mit aktivem Raytracing: Videowände im virtuellen Set reflektieren dabei auf andere Bereiche der Kulisse, Schatten und weitere optische Effekte werden präziser. Die endgültige Fassung von 2.8 erschien im August 2019, Version 2.9 sollte Ende September 2019 auf der IBC in Amsterdam Premiere feiern. Auch abseits des Broadcasts arbeitete Epic 2019 an neuen Einsatzfeldern für die Engine: Auf der gamescom 2019 waren mehr als 100 Unreal-Engine-Spiele vertreten, und Epics Kölner Studio für interaktive Medien und Streaming baute im Sommer 2019 an angrenzenden Use-Cases.
Betrieben wird Reality Engine in mehreren Unreal-Engine-Instanzen, die gemeinsam gesteuert werden; neben dem System selbst liefert Zero Density Automations-, Monitorings- und Steuerungsoberflächen. Der türkische Kultursender TRT2 fährt mit drei Reality Engines sieben verschiedene Sendungen in einem virtuellen Studio. Neu hinzukommen Kunden aus der episodischen Produktion, etwa Kindersendungen: Sie drehen auf Green Screen und verwenden das Live-Ergebnis unmittelbar für den Schnitt, ohne klassische Offline-Renderings und VFX-Nachbearbeitung. Dabei gibt die Software nicht nur die finale Komposition aus, sondern auch Maskenebenen wie Garbage Masks. Langfristig will das Team zusätzliche Daten mitliefern, damit sich die gesamte Komposition in der Nachbearbeitung noch nachjustieren lässt.