Microsoft betreibt einen weltweit verteilten Dienst zum Scheduling von Machine-Learning-Aufgaben. Das System trägt den Namen Singularity und wird in einem aktuellen Forschungspapier des Unternehmens beschrieben, das 26 beteiligte Autoren listet, darunter Mark Russinovich, CTO von Microsofts Cloud-Sparte Azure. Primäres Ziel des Systems ist vor allem, Kosten einzusparen.
Volle Auslastung teurer Trainingssysteme
Das grundlegende Problem, das Microsoft mit Singularity lösen will, liegt darin, dass für das Training von Deep-Learning-Systemen immer größere Rechensysteme benötigt werden, diese jedoch extrem teuer sind. Damit sich die Anschaffung trotzdem rechnet, sollen die Systeme möglichst voll ausgelastet werden, indem alle Aufgaben innerhalb der Azure-Cloud auf gerade freie Ressourcen verteilt werden.
Microsoft beschreibt das Ziel im Paper folgendermaßen: Singularity verfolge ein zentrales Ziel, nämlich die Senkung der KI-Kosten durch Maximierung des gesamten nützlichen Durchsatzes bei einem bestimmten festen Pool von Beschleunigern im globalen Maßstab. Zur Größe des Gesamtsystems schreibt Microsoft, Singularity sei von Grund auf so konzipiert, dass es über eine globale Flotte von Hunderttausenden von GPUs und anderen KI-Beschleunigern skaliert werden könne.
Schnappschüsse und elastische Aufgabenverteilung
Erreicht wird die Skalierung vor allem über zwei Mechanismen. Zum einen über eine ausgeklügelte Unterbrechung mit anschließender Migration von Aufgaben, zum anderen über Elastizität. Für die Migration erstellt Singularity einen kompletten RAM-Schnappschuss des jeweiligen Zustands, der anschließend transferiert und direkt weiter ausgeführt werden kann. Zusätzlich setzt das Team auf ein sogenanntes Replica-Slicing der eigentlichen Aufgaben, wodurch diese elastisch und mit einer variablen Anzahl von Beschleunigern ausgeführt werden können.
Evaluation auf DGX-2-Servern
Zur Evaluation des Systems setzt Microsoft auf Nvidias DGX-2-Server, die über Infiniband miteinander verbunden sind. Jeder dieser Server nutzt einen Xeon Platinum 8168 mit zwei Sockeln und je 20 CPU-Kernen sowie 692 GByte Arbeitsspeicher. Hinzu kommen acht V100-GPUs pro Server.
Quelle: Microsoft Research