Auf der Entwicklerkonferenz Build hat Microsoft am 21. Mai 2024 angekündigt, dass OpenAIs neues multimodales Flaggschiff-Modell GPT-4o ab sofort in Azure AI Studio und als API zur Verfügung steht. Das Modell verarbeitet Text, Bild und Audio im selben Verbund. Am Tag zuvor hatte der Konzern bereits die Geräteklasse Copilot+ PCs gezeigt, die KI-Inferenz lokal auf dem Gerät erledigt. Beides zusammen soll eine Plattformbasis ergeben, die für Entwickler nicht nur bei klassischen Produktivitätsaufgaben taugt, sondern auch in der Spieleentwicklung greift.
Microsoft nennt rund 200.000 registrierte Teilnehmer, davon etwa 4.000 vor Ort in Seattle, dazu mehr als 300 Sessions, Demos und Labs. Insgesamt zählte der Konzern rund 60 neue Produkte und Lösungen auf. Den begleitenden Blogbeitrag verantwortet Frank X. Shaw, Chief Communications Officer bei Microsoft.
GPT-4o und Phi-3 in Azure AI
GPT-4o steht laut Microsoft in Azure AI Studio sowie über den Azure OpenAI Service bereit und verbindet Text, Bild und Audio in einem Modell. Für Entwickler heisst das konkret: Eingaben verschiedener Art landen im selben Modell, ohne dass vorher getrennte Pipelines nötig sind. Daneben nannte der Konzern Phi-3-vision, ein neues multimodales Modell aus der Phi-3-Familie der Small Language Models. Es läuft in Azure, nimmt Bild- und Texteingaben entgegen und liefert Textantworten zurück.
Bei der Infrastruktur kündigte Microsoft mehrere Erweiterungen der Azure-Plattform an, darunter Instanzen mit AMD Instinct MI300X und eine Vorschau der Arm-basierten Cobalt-100-VMs. Für Spielestudios sind diese Bausteine deshalb interessant, weil sich datenintensive KI-Workloads serverseitig hochziehen lassen, etwa das Erzeugen von Inhalten, die Auswertung von Telemetriedaten oder die Sprachverarbeitung für dialogfaehige NPCs. Kleinere Modelle wie Phi-3-vision passen dagegen besser, wenn Latenz und Kosten eng kalkuliert sind. Solche Workloads bringt der Azure OpenAI Service in die gewohnte Cloud-Umgebung.
Copilot+ PCs und Entwicklerwerkzeuge
Die am 20. Mai 2024 vorgestellten Copilot+ PCs sind eine Geräteklasse von Windows-PCs, die KI-Funktionen direkt auf dem Gerät ausführen. Microsoft platziert sie für Inferenz an der Edge, also für Anwendungen, die ohne ständige Serververbindung auskommen. In der Spieleentwicklung öffnet die lokale Beschleunigung den Weg für KI-gestützte Werkzeuge oder Laufzeitfunktionen, die ohne Cloud-Roundtrip arbeiten.
Auf der Werkzeugebene startete Microsoft GitHub Copilot Extensions in einer privaten Vorschau, an der neben Microsoft auch Drittanbieter wie Azure, Docker und Sentry beteiligt sind. Die Erweiterung GitHub Copilot for Azure soll die Verwaltung von Azure-Ressourcen per natürlicher Sprache abdecken. Über Copilot Extensions lässt sich Microsoft Copilot zudem an weitere Datenquellen und Anwendungen anbinden. Mit Team Copilot weitet der Konzern Copilot für Microsoft 365 vom persoenlichen zum team-orientierten Assistenten aus, dessen Vorschau im weiteren Verlauf des Jahres 2024 kommen sollte. Diese Bausteine holen einen Teil der KI-gestützten Entwicklungsarbeit in vorhandene Werkzeugketten, was auch für Studios mit Azure- und GitHub-Anbindung zählt.