NVIDIA hat den NVDLA Deep Learning Inference Compiler als Open Source auf GitHub freigegeben. Zwei Jahre nach der Offenlegung des Hardware-Designs des NVIDIA Deep Learning Accelerator erhalten Entwickler damit nach eigenen Angaben vollständigen Zugriff auf den Quellcode der bisher ersten komplett offenen Inferenzplattform aus Software und Hardware. Die Ankündigung stammt vom 11. September 2019 aus dem NVIDIA-Entwicklerblog.
Der Compiler erzeugt optimierte Ausführungsgraphen und überträgt die Aufgaben der einzelnen Layer künstlicher neuronaler Netze auf die sechs spezialisierten Ausführungseinheiten des NVDLA-Kerns. Ziel der Optimierung ist ein möglichst geringer Datentransfer bei bestmöglicher Ausnutzung der Hardware. Entwickler können das Kompilat an die jeweilige NVDLA-Hardwarekonfiguration, die CPU- und Speichercontroller des Systems sowie an eigene neuronale Netzmodelle anpassen.
Optimierung nach Hardwareprofil und Netzwerkmodell
Für größere NVDLA-Designs empfiehlt NVIDIA Optimierungen wie Layer-Fusionierung und Pipeline-Scheduling, die über verschiedene Netzwerkarchitekturen hinweg bis zu dreimal mehr Leistung bringen sollen. Bei leistungsschwächeren Designs steht Memory Tiling im Vordergrund: Der Compiler verteilt die On-Chip-Buffer zwischen Gewichten und Aktivierungsdaten so, dass der Traffic zum externen Speicher und damit der Stromverbrauch sinkt. Auf einem Jetson AGX Xavier erreichte die Plattform im INT8-Inferenzbetrieb 411 Bilder pro Sekunde und Watt bei ResNet-50 und 919 Bilder pro Sekunde und Watt bei MobileNetV1. Ein einzelner NVDLA-Core lieferte bei ResNet-50 in 1356 MHz Takt 283 Bilder pro Sekunde mit 3,5 Millisekunden Latenz.
Simulation in der Cloud und Unterstützung weiterer Frameworks
Der NVDLA Deep Learning Inference Compiler trägt die Versionsnummer 1.2.0; das Release ist ausdrücklich auf die Open-Source-Legung zugeschnitten. Auf GitHub dokumentiert NVIDIA die unterstützten Modelle, Features und Frameworks. Bislang ist dort nur Caffe gelistet, eine Anbindung an das offene Austauschformat ONNX ist angekündigt. Für den Einstieg ohne eigene Hardware zeigt das Projekt FireSim-NVDLA, wie sich ein komplettes NVDLA-Design mit RISC-V auf Amazon AWS simulieren lässt, inklusive Tutorial für Objekterkennung mit YOLOv3.
Yunsup Lee, Mitgründer und CTO von SiFive sowie Mitentwickler von RISC-V, bezeichnete die Freigabe als Schritt, der domänenspezifisch optimierte SoC-Designs für KI am IoT-Rand erst richtig ermögliche. SiFive hatte NVDLA bereits ein Jahr zuvor auf der Freedom Platform demonstriert. ARM integriert den Beschleuniger für seine Machine-Learning-Plattform Project Trillium.

