Microsoft erweitert das Angebot an DeepSeek Modellen, indem über Azure AI Foundry die distillierten Varianten R1 7B und 14B für Copilot+ PCs bereitgestellt werden. Dieser Schritt folgt auf die Einführung der DeepSeek-R1 1.5B Version und ermöglicht die Ausführung anspruchsvoller Sprachmodelle auf Geräten mit integrierten Neural Processing Units (NPUs).
Die neuen Modelle werden zunächst auf Copilot+ PCs implementiert, die auf Qualcomm Snapdragon X basieren; weitere Varianten mit Intel Core Ultra 200V und AMD Ryzen sollen folgen. Die in diesen Systemen integrierten NPUs erreichen eine Rechenleistung von über 40 Billionen Operationen pro Sekunde (TOPS), was eine effiziente Inferenz großer KI-Modelle bei gleichzeitig reduziertem Energieverbrauch und minimalen thermischen Auswirkungen ermöglicht.
Technisch basieren die DeepSeek Modelle auf einem ONNX QDQ-Format. Eine 4-Bit Blockwise Quantisierung wird für speicherintensive Operationen verwendet, während der Transformer-Block mittels int4 per-channel Quantisierung und int16-Aktivierungen betrieben wird. Optimierungstechniken wie QuaRot, ein Sliding-Window-Ansatz zur Beschleunigung der ersten Token-Ausgabe sowie der Einsatz des internen Quantisierungstools Aqua tragen zur Ressourceneffizienz bei. Erste Leistungsdaten weisen auf einen Durchsatz von etwa 8 Tokens pro Sekunde beim 14B Modell hin, während kleinere Varianten höhere Geschwindigkeiten erzielen.
Die Verfügbarkeit sämtlicher DeepSeek Varianten (1.5B, 7B und 14B) erfolgt über die AI Toolkit VS Code Extension, was eine nahtlose Integration in bestehende Entwicklungsprozesse ermöglicht. Die hybride Architektur, die lokale Inferenzmöglichkeiten mit den umfangreichen Rechenressourcen der Azure Cloud verbindet, erlaubt es, kleinere Modelle vor Ort auszuführen und gleichzeitig komplexe Trainings- oder Feinabstimmungsprozesse in der Cloud zu realisieren.