Das DirectX-Team hat am 6. Januar 2025 angekündigt, dass DirectX künftig sogenannte Cooperative Vectors unterstützt. Damit soll Neural Rendering plattformübergreifend möglich werden, also der Einsatz kleiner neuronaler Netze mitten in der Echtzeit-Grafik-Pipeline. Cooperative Vectors multiplizieren Matrizen mit beliebig dimensionierten Vektoren. Genau diese Matrix-Vektor-Operationen fallen in großer Zahl beim Training, beim Fine-Tuning und bei der Inferenz von KI-Modellen an. Entwickelt wird die Schnittstelle von der HLSL-Gruppe gemeinsam mit AMD, Intel, NVIDIA und Qualcomm. Wie eng diese Verfahren mit modernem Grafik-Modding zusammenhängen, zeigt etwa NVIDIA RTX Remix.
KI-Berechnung in beliebigen Shader-Stufen
Der technische Kern: KI-Aufgaben lassen sich künftig in verschiedenen Shader-Stufen ausführen. Laut Beschreibung läuft ein kleines neuronales Netz so zum Beispiel in einem Pixel-Shader, ohne die gesamte GPU zu belegen. Cooperative Vectors sollen es Entwicklern ermöglichen, neuronale Grafikverfahren direkt in DirectX-Anwendungen einzubauen und dabei plattformübergreifend auf die KI-Beschleuniger-Hardware zuzugreifen. Bisher brauchte ein solcher Inferenzschritt meist einen Wechsel zwischen Grafik- und Compute-Pfad. Das kostet zusätzliche Latenz und bewegt Daten im Speicher hin und her. Wird die Inferenz direkt in den Shader-Code eingebettet, fällt diese Trennung weg.
Als konkretes Einsatzfeld nennt Microsoft unter anderem die neuronale Texturkompression. Dabei dekomprimiert ein trainiertes Modell die Texturdaten zur Laufzeit und senkt den Speicherbedarf, während die Bildqualität erhalten bleibt. Funktionieren kann das nur, wenn die Inferenz schnell genug abläuft, um in das Budget eines einzelnen Frames zu passen. Genau deshalb braucht es die Anbindung an die Tensor- und Matrix-Recheneinheiten der GPUs.
Welche Hardware mitspielt und wie es weitergeht
Im Mittelpunkt steht die Anbindung an die Hardware der vier beteiligten Hersteller. NVIDIA weist darauf hin, dass Cooperative Vectors die Tensor-Cores der neuen RTX-50-Serie für neuronales Shading nutzbar machen. Die Arbeit mit AMD, Intel und Qualcomm soll dafür sorgen, dass die Schnittstelle herstellerübergreifend bereitsteht und Entwickler nicht für jede GPU-Architektur einen eigenen Pfad pflegen müssen. Ein konkretes Veröffentlichungsdatum nannte das DirectX-Team zunächst nicht, kündigte aber eine Preview-Phase an und verwies auf das öffentliche Repository der HLSL-Spezifikationen. Wer den Entwicklungsstand verfolgen will, findet die Spezifikationsarbeit auf GitHub unter microsoft/hlsl-specs.
Geschrieben haben den Blogbeitrag Cassie Höf (Principal Program Manager) und Serena Tang (Product Manager II). Mit der Initiative will sich DirectX als gemeinsame Abstraktionsschicht für neuronale Grafikverfahren etablieren, ansprechbar unabhängig vom GPU-Anbieter.