NVIDIA hat PAIR aus der Beta entlassen. Der Personal AI Router verbindet kompatible Rechner im lokalen Netzwerk und verteilt Inferenzanfragen auf verfügbare Systeme. Die Software ist für Windows, Linux und macOS vorgesehen.
Die Release Notes zu NVIDIA PAIR 1.0.0 nennen die Integration von llama.cpp und Downloads kompatibler GGUF-Modelle von Hugging Face. Startargumente und Umgebungsvariablen verwalteter Engines lassen sich auch für verbundene Geräte anpassen.
NVIDIA PAIR ändert Regeln für Browserclients
Lokale Endpunkte folgen nun den CORS-Regeln der jeweiligen Engine. Browseranwendungen benötigen deshalb gegebenenfalls eine zusätzliche Freigabe. Die Versionshinweise beschreiben außerdem eine für llama.cpp und CUDA auf RTX Spark N1X validierte Windows-on-Arm-Fassung.
Damit ergänzt die Software die angekündigten ProArt-Rechner mit RTX Spark. Das Routing ersetzt jedoch weder die Prüfung der Modellspeicheranforderungen noch ein passendes Berechtigungs- und Datenschutzkonzept für verbundene Geräte.