Das Unternehmen Stream, bekannt für seine Chat- und Video-Infrastruktur, hat am 10. Oktober 2025 mit Vision Agents ein quelloffenes Framework für Echtzeit-Bild- und Videoanalyse mit künstlicher Intelligenz vorgestellt. Die Software richtet sich an Entwickler, die KI-Agenten bauen wollen, die nicht nur Sprache verstehen, sondern auch Video in Echtzeit sehen und interpretieren können.
Video-first statt Sprach-Add-on
Anders als viele bestehende Agenten-Frameworks, die Video nachträglich an ein sprachbasiertes System anflanschen, ist Vision Agents laut Stream von Grund auf für Video konzipiert. Das SDK bringt zehn fertige Integrationen mit, darunter Anbindungen an OpenAI Realtime und Gemini Live, sowie Module für Sprache-zu-Text, Text-zu-Sprache und direkte Sprache-zu-Sprache-Verarbeitung. Über eine einheitliche Agent-Klasse lassen sich Sprachmodell-Anbieter wie Anthropic, Cartesia oder Deepgram austauschen, ohne die restliche Anwendung umzubauen. Die Übertragung läuft über WebRTC direkt zu den Modell-Anbietern, was die Latenz gering halten soll.
Kern der Architektur ist eine sogenannte Processor-Pipeline, mit der sich eigene Bildanalysen einklinken lassen. Stream demonstriert das unter anderem mit einer Kombination aus dem Objekterkennungsmodell YOLO und großen Sprachmodellen: Eine Kamera erkennt per YOLO die Körperhaltung bei einer Golf-Schwungübung, ein Sprachmodell liefert anschließend verständliches Feedback dazu.
Einsatzfelder von Sport bis Fertigung
Als Anwendungsfälle nennt Stream neben der Sportanalyse auch die Fehlererkennung in der Fertigung, Meeting-Assistenten mit Sprechererkennung, Live-Untertitel für Barrierefreiheit sowie Robotik- und IoT-Projekte. In der Ankündigung zieht Stream-Chef Thierry Schellenbach einen Vergleich zur frühen Phase von ChatGPT: Vision-KI befinde sich aktuell an einem ähnlichen Punkt wie Sprachmodelle im Jahr 2022, mit vielen offenen Experimentierräumen.
Vision Agents steht vollständig quelloffen zur Verfügung, ein Vendor-Lock-in soll es laut Stream nicht geben. Entwickler können das Framework mit der eigenen Stream-Video-Infrastruktur betreiben oder an ein beliebiges anderes WebRTC-SDK anbinden. Der Twitter-Nutzer und KI-Kommentator Alvaro Cintas griff die Veröffentlichung im Dezember 2025 erneut auf und beschrieb das Framework als Möglichkeit, mit unter 30 Millisekunden Latenz Video in Echtzeit zu verstehen.
Der Quellcode ist öffentlich auf GitHub einsehbar.