NVIDIA hat am 28. Januar 2019 im NVIDIA Technical Blog die Data Loading Library (DALI) vorgestellt, ein quelloffenes Toolkit zur GPU-beschleunigten Vorverarbeitung von Trainingsdaten für Deep-Learning-Modelle. DALI löst ein praktisches Problem in modernen Trainingsumgebungen: Wenn GPU-Cluster wie das DGX-1 oder DGX-2 Daten schneller verarbeiten können, als die CPU sie bereitstellen kann, bremst das Preprocessing die gesamte Pipeline aus. DALI verschiebt weite Teile dieser Arbeit auf die GPU.
Das Toolkit baut eine Vorverarbeitungspipeline als Datenflussgraph auf. Jeder Knoten steht für einen Operator, der Daten auf CPU, als gemischter CPU/GPU-Schritt oder vollständig auf der GPU verarbeitet. Unterstützte Operationen umfassen das Laden, Dekodieren und Komprimieren von Bildern, Größenanpassungen, Formatkonvertierungen und Augmentierungen. Für Video unterstützt DALI H.264- und HEVC-Dekodierung. Fertige Pipelines lassen sich mit einem einzeiligen Plug-in direkt in TensorFlow, PyTorch und MXNet einbinden. Wer einen eigenen Operator benötigt, kann ihn separat kompilieren und über den Plugin-Manager in DALI laden. Der Quellcode ist auf GitHub verfügbar; NVIDIA bietet auch vorkonfigurierte PIP-Pakete an.
Für Spielentwickler, die maschinelles Lernen in ihre Pipeline integrieren, etwa für prozedurale Generierung, NPC-Verhalten oder Quality-Assurance-Automatisierung, bietet DALI einen konkreten Vorteil: Wer bereits auf NVIDIA-Hardware entwickelt und GPU-Rechenzeit für ML-Aufgaben nutzt, bekommt mit DALI ein Framework-agnostisches Werkzeug, das CPU-Engpässe beim Datenladen reduziert. NVIDIA selbst nutzte DALI in eigenen MLPerf-Benchmark-Beiträgen für SSD- und ResNet-50-Implementierungen. Die Geschichte von NVIDIAs GeForce-Plattform zeigt, dass das Unternehmen seine GPU-Architektur konsequent auch für Aufgaben jenseits des klassischen Renderings erweitert. DALI folgt dieser Linie auf der Softwareseite.
Die vollständige technische Dokumentation und Beispiel-Notebooks zur Integration in TensorFlow, PyTorch und MXNet sind in der offiziellen DALI Developer-Dokumentation verfügbar.