Im DirectX Developer Blog hat Microsoft am 19. März 2018 gezeigt, wie sich Machine Learning über DirectML in Spiele bringen lässt. DirectML bildet die GPU-Beschleunigungsschicht von Windows ML und baut auf Direct3D 12 auf. Inferenzoperationen trainierter neuronaler Netze laufen damit direkt auf der Grafikhardware, die in Spielen ohnehin steckt. Eingebettet ist das Ganze in den größeren Windows-ML-Stack, dessen API trainierte Modelle über verschiedene Hardware hinweg ausliefert. Wie das in der Praxis aussieht, hat man bei Xbox bereits früh durchgespielt.
Inferenz auf der Compute-Queue der GPU
DirectML rechnet die Inferenz als Compute-Arbeit auf der GPU, parallel zum Grafik-Rendering. Für die parallele Matrixmathematik dient die High-Level Shader Language. Die ML-Instruktionen wandern gebündelt in asynchrone Command-Listen und gehen über Command-Queues an die GPU, womit sich die Last in bestehende Grafik-Workloads schiebt. Windows ML liefert die übergeordnete API, DirectML die GPU-beschleunigte Inferenz über D3D12-Compute-Queues. Unterstützt sind CPU, GPU und VPU verschiedener Hersteller, und zwar ohne zusätzliche Treiber.
Metacommands, Quantum Break und NVIDIAs Super Sampling
Zusammen mit NVIDIA hat Microsoft die D3D12-Metacommands entwickelt. Damit hinterlegen Hardwarehersteller optimierte Operator-Implementierungen direkt im Treiber und nutzen ihr Wissen über Cache-Größen, SIMD-Lanes und Scheduling. Bei anspruchsvollen DNN-Modellen bringen die FP16-Metacommands laut Blog eine bis zu achtfache Beschleunigung, sodass zuvor statische Modelle in Echtzeit laufen. Als Beispiele nennt Microsoft die Gesichtsanimation in Remedys Quantum Break, die zu rund 80 Prozent automatisiert wurde, dazu ein ML-basiertes Super Sampling von NVIDIA mit vierfacher Bildhochskalierung und schaerferen Kanten als bei bilinearer Interpolation.