NVIDIA DiffusionGemma: Lokale Inferenz auf RTX, DGX und H100 beschleunigt

NVIDIA unterstützt das neue DiffusionGemma-Modell von Google DeepMind ab dem Start auf GeForce RTX, NVIDIA RTX PRO, DGX Spark, DGX Station und H100-GPUs. Details stehen im NVIDIA Developer Blog, ergänzend verweist NVIDIA auf den RTX-AI-Blog.

DiffusionGemma arbeitet anders als klassische autoregressive Sprachmodelle. Statt Token streng nacheinander zu erzeugen, nutzt es diffusionsbasierte Rauschunterdrückung und kann Text parallel generieren. NVIDIA nennt bis zu 1.000 Token pro Sekunde auf einer einzelnen H100 Tensor-Core-GPU und 150 Token pro Sekunde auf DGX Spark.

Relevanz für lokale Werkzeuge

Für Entwickler ist vor allem die lokale Ausführung interessant. Das Modell steht unter Apache 2.0 und soll mit Hugging Face Transformers, vLLM und Unsloth nutzbar sein. Für Unternehmen bietet NVIDIA zusätzlich NIM und API-Zugriff über build.nvidia.com an.

In der Spieleentwicklung können solche Modelle für lokale Tools, Prototyping, Dialogentwürfe, QA-Hilfen oder Asset-Pipelines relevant werden. Entscheidend bleibt dabei, ob Latenz, Kosten und Datenschutz im Studioalltag besser kontrollierbar sind als bei rein cloudbasierten Diensten.

Weitere News

Weitere News

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein