JD und Mira Murati, die ehemalige CTO von OpenAI, haben auf denselben KI-Sektor gesetzt.

Stellen Sie sich folgendes Szenario vor:

Ein allein lebender älterer Mensch rutscht im Wohnzimmer versehentlich aus und kann aufgrund der Schmerzen nicht um Hilfe rufen. In diesem Moment erkennen sein tragbares intelligentes Gerät oder die Überwachungskamera im Haus eine Anomalie. Ohne auf Sprachbefehle zu warten, löst die KI aktiv eine Warnung aus und benachrichtigt umgehend Familienmitglieder oder das Notfallzentrum.

Oder Sie schauen sich ein spannendes Fußballspiel an: In dem Moment, in dem ein entscheidendes Tor fällt, haben Sie keine Zeit, die Aufzeichnung zurückzuspulen und Fragen zu stellen – die KI-Brille liefert Ihnen automatisch eine Zeitlupenanalyse und taktische Erläuterungen.

Diese Szenarien sind keine Zukunftsvision mehr, sondern sie sind echte Probleme, die mit JoyAI-VL-Interaction – dem weltweit ersten vollständig quelloffenen visuell-sprachlichen Interaktionsmodell, das gerade von JD Open Source veröffentlicht wurde gelöst werden sollen.

In den letzten zwei Jahren wurden die Fähigkeitsgrenzen großer Modelle ständig erweitert, aber die vorherrschende Interaktionsweise folgt immer noch dem rundenbasierten Prinzip "Benutzer stellt Frage, Modell antwortet". Es ist effizient, aber in vielen Szenarien nicht sinnvoll. Viele wichtige Ereignisse geschehen zu schnell, als dass der Benutzer noch eine Frage stellen könnte; viele Szenarien erfordern überhaupt keine Sprachbefehle.

In diesem Jahr entwickelt sich eine Erkenntnis zum Branchenkonsens: KI bewegt sich von der "Vorhersage des nächsten Tokens" hin zur "Vorhersage des nächsten physischen Zustands". Das bedeutet auch, dass KI sich von einem passiven Informationsverarbeiter zu einem aktiven Teilnehmer weiterentwickeln muss.

Genau an diesem Punkt hat JD JoyAI-VL-Interaction quelloffen gemacht: Es ist das weltweit erste vollständig quelloffene Echtzeit-Visuell-Sprach-Interaktionsmodell, das in kontinuierlichen Videoströmen selbstständig beurteilen kann, wann es antworten, wann es schweigen und wann es komplexe Aufgaben an ein Backend-Modell übergeben soll.

Was JoyAI-VL-Interaction beweisen will: KI, die wirklich in die physische Welt eintritt, sollte nicht ständig darauf warten, gefragt zu werden. Sie sollte lernen, zu beobachten, aktiv zu urteilen und im richtigen Moment Hilfe anzubieten.

Das ist auch ein größeres Signal, das die KI-Abteilung von JD aussendet: Von den Modellfähigkeiten bis zu den industriellen Szenarien verlagert sich der Wettbewerb im Bereich KI von Fragen und Antworten auf dem Bildschirm hin zur realen Welt.

Warum visuell-sprachliche Interaktion?

In der realen physischen Welt treten viele wichtige Informationen in Momenten auf, in denen der Benutzer keine Zeit hat, eine Frage zu stellen. Das Gefühl, dass es "keine Zeit gibt", liegt manchmal an Problemen der Benutzererfahrung, aber häufiger an den durch das Paradigma verursachten Fähigkeitsgrenzen.

Die Branche ist sich dieser Einschränkung nicht nicht bewusst.

In der ersten Hälfte des Jahres 2026 wurde die Echtzeit-Interaktion zum beliebtesten Stichwort im Bereich der multimodalen KI. Die Branche entwickelt sich im Wesentlichen in zwei Richtungen: Die eine besteht darin, rundenbasierte Gespräche schneller zu gestalten, die andere darin, Sprachanrufe natürlicher zu machen.

Ersteres legt den Fokus auf geringe Latenz oder beliebige Ein- und Ausgaben, aber der Kern bleibt "es antwortet nur, wenn Sie fragen"; Letzteres ermöglicht es dem Modell, gleichzeitig zuzuhören und zu sprechen und jederzeit unterbrochen zu werden, was die Erfahrung näher an echte menschliche Gespräche bringt, aber der Schwerpunkt liegt immer noch auf Sprachszenarien.

Das Problem ist, dass viele Veränderungen in der realen Welt nicht zuerst in Form eines Satzes auftreten. Brände, Stürze, sich nähernde Fahrzeuge, Änderungen von Bildschirminhalten, Anomalien in Produktionslinien – all diese Ereignisse erscheinen zuerst als Bild, bevor sie in Sprache umgewandelt werden. Wenn KI nur darauf wartet, dass Menschen sprechen, kann sie kaum wirklich "anwesend" sein.

Ein weiteres Unternehmen, das fast zur gleichen Zeit wie JD zu derselben Schlussfolgerung gekommen ist, ist Thinking Machines Lab, gegründet von Mira Murati. Am 11. Mai stellte dieses Unternehmen das Konzept der Interaktionsmodelle vor und veröffentlichte einige Demo-Vorschauen für die Forschung. Es wurde darauf hingewiesen, dass das Paradigma der autonomen Reaktion von Interaktionsmodellen im Vergleich zum traditionellen Frage-Antwort-Paradigma ein viel größeres Potenzial für die Zusammenarbeit zwischen Mensch und KI bietet.

Dass zwei Teams fast gleichzeitig zu derselben Herangehensweise gelangt sind, ist an sich schon ein Signal: Die Skalierung der Interaktivität als inhärente Fähigkeit des Modells ist eine Richtung, an der die Branche in den nächsten Jahren nicht vorbeikommen wird.

Der Unterschied besteht darin, dass JD die visuelle Sprache in eine zentralere Position gestellt hat und Sprache als austauschbare Ein-/Ausgabe-Komponente gestaltet hat, sodass die visuelle Sprache zum "ersten Treibermodus" für die autonome Entscheidungsfindung des Modells wird.

Das heißt, ab dem Moment, in dem die Kamera eingeschaltet wird, beobachtet JoyAI-VL-Interaction kontinuierlich die Veränderungen der Bilder in der physischen Welt und beurteilt selbstständig, ob es sprechen soll, was es sagen soll und ob es die Aufgabe übergeben soll.

Das ist das Potenzial der visuellen Interaktion: Sie kann in Szenarien wie der Betreuung von älteren Menschen und Kindern, der Unterstützung blinder Menschen, KI-Brillen, Sportkommentaren, Filialinspektionen, Lagerlogistik und der Zusammenarbeit von Robotern eingesetzt werden. Der Benutzer muss die Frage nicht zuerst in einen Satz formulieren, damit die KI Anforderungen aus Veränderungen der Umgebung erfassen kann.

Daher ist Sehen nicht nur eine weitere Eingabemethode, sondern ein unersetzbarer Wahrnehmungskanal für KI, um zur "Vorhersage des nächsten physischen Zustands" zu gelangen.

Dieser Punkt wird auch im technischen Bericht von JDs JoyAI-VL-Interaction hervorgehoben. Der Bericht zeigt, dass JoyAI-VL-Interaction in sechs echten Streaming-Szenarien eine Erfolgsrate von 77,6 % gegenüber führenden inländischen Modellen und 87,9 % gegenüber ausländischen Modellen erreicht; im Szenario der Überwachungswarnung, das die Fähigkeit zur Erfassung von Ereignissen am meisten auf die Probe stellt, liegt die Erfolgsrate bei 100 %. Der Bericht stellt fest, dass der Unterschied nicht nur in der Antwortqualität liegt, sondern darin, ob man im richtigen Moment handeln kann.

Allerdings ist die Umsetzung der aktiven visuellen Interaktion tatsächlich schwieriger.

Die Datenerfassung für Sprachinteraktion ist relativ direkt, zahlreiche Datensätze mit Sprachbefehlen ermöglichen es dem Modell, zu lernen, wann Menschen sprechen, wie sie andere unterbrechen und wie sie das Gespräch fortsetzen. Die Daten, die für die visuelle Interaktion benötigt werden, sind völlig anders. Das Modell muss lernen, welche Signale in kontinuierlich wechselnden Bildern eine Reaktion wert sind und welche Signale ein Schweigen erfordern.

Eine tiefere Hürde ist die Fähigkeit zur Szenariendefinition. Bei der Sprachinteraktion gibt es eine natürliche Auslösegrenze: Wenn der Benutzer spricht, beginnt die Interaktion. Bei der visuellen Interaktion gibt es keine klaren Anfangs- und Endpunkte – das Modell muss die Grenzen selbst in einem unbegrenzten Informationsstrom bestimmen.

Das ist die Besonderheit von JD: Das Unternehmen sucht keine Szenarien in abstrakten Laboren, sondern betreibt seine Geschäftstätigkeit natürlich in echten Netzwerken aus Einzelhandel, Logistik, Gesundheitswesen und Industrie.

Das bedeutet, dass die KI von JD nicht nur auf einen einzelnen Chat-Eingang trifft, sondern auf eine Vielzahl echter Aufgaben: Wie Waren fließen, wie Geräte zusammenarbeiten, wie Roboter mit Menschen kooperieren und wie Anomalien frühzeitig erkannt werden. Das Modell kann aus echten Anforderungen lernen und anhand echten Feedbacks iterieren.

Obwohl bei der technischen Vorgehensweise Kompromisse gemacht werden, wird die Interaktionsform der zukünftigen allgemeinen AGI definitiv aktive Intelligenz sein. Intelligente Agenten müssen einen vollständigen Zyklus aus Umgebungswahrnehmung, autonomer Entscheidungsfindung und Echtzeit-Reaktion aufweisen. Daher wollen viele Unternehmen keine großen Modelle für visuelle Interaktion entwickeln, sondern fehlt ihnen derzeit der Nährboden, auf dem visuelle Interaktion entstehen kann. Das ist auch der Grund, warum Kapital und Rechenleistung zuerst in die Sprachinteraktionsbranche strömen.

Daher ist die Entscheidung von JD, den Einstieg über die visuelle Wahrnehmung zu wählen, nicht nur eine Wahl der technischen Route, sondern wird auch durch seine strategische Position bestimmt. Im Vergleich zu vielen Anbietern großer Modelle ist JD näher an den Betriebsstätten der physischen Welt und benötigt daher eine KI, die aktiv wahrnimmt und in Echtzeit reagieren kann.

Um diesen Tag schneller herbeizuführen, muss jemand früher aufbrechen.

Leichtgewichtig, quelloffen und bereit zur Bereitstellung

Was bedeutet es, das weltweit erste vollständig quelloffene Modell anzubieten?

Die Neudefinition des Interaktionsparadigmas klingt großartig, aber bei der Umsetzung in echte Anwendungen ist die erste Hürde sehr einfach: KI darf Menschen nicht ständig stören, und sie darf nicht schweigen, wenn eine Warnung erforderlich ist.

Man erwartet normalerweise, dass KI so gesprächig wie möglich ist – aber in Szenarien der Echtzeit-Visuell-Interaktion ist ein Modell, das ständig dazwischenredet, nicht intelligent. Die wirklich wertvolle Fähigkeit besteht darin, im entscheidenden Moment aktiv aufzutauchen und in unwichtigen Momenten still zu bleiben.

Daher hat JoyAI-VL-Interaction das "Schweigen" auch zu einer Fähigkeit trainiert. Das Modell muss drei Ebenen der Beurteilung beherrschen: In welchen Szenarien es aktiv reagieren soll, in welchen Szenarien es schweigen soll und in welchen Szenarien es Aufgaben verteilen und an andere Modelle übergeben soll.

Wenn diese Fähigkeit nur in wissenschaftlichen Arbeiten verbleibt, ist ihr Wert begrenzt. Der Schlüssel zur Betonung der "vollständigen Quelloffenlegung" durch JD liegt darin, das Modell, das Inferenzsystem und die Pfade zur Anwendungsentwicklung gemeinsam zu öffnen, sodass Entwickler es tatsächlich ausführen, modifizieren und nutzen können.

JD hat eine ingenieurstechnische Route gewählt, die sich leichter verbreiten lässt: Ein Modell mit 8 Milliarden Parametern, das mit einer einzelnen Grafikkarte des Typs 3090 bereitgestellt werden kann. Bei dieser Parametergröße können private Entwickler es ausführen, es kann auf Verbraucherhardware betrieben werden und es lässt sich auf Endgeräten einsetzen.

Für die Echtzeit-Visuell-Interaktion bedeutet diese Leichtgewichtigkeit keine Verringerung der Fähigkeiten, sondern eine klarere Aufgabenteilung.

JoyAI-VL-Interaction verhält sich eher wie eine vorgelagerte Interaktionsschicht, die für die Beobachtung der Umgebung, die Beurteilung des richtigen Zeitpunkts und kurze Kommunikation zuständig ist. Wenn komplexe Aufgaben mit tiefgreifender Inferenz anfallen, werden sie automatisch an Agenten wie OpenClaw, Codex oder Claude Code übergeben, die der Benutzer im Backend auswählen kann – daher reicht ein 8B-Modell vollkommen aus.

Zum Beispiel kann das Modell zuerst zum Benutzer sagen "Ich denke darüber nach", dann das schwierige Problem an das Backend übergeben und selbst weiterhin anwesend bleiben. Sobald das Backend das Ergebnis liefert, wird die Antwort mit dem Benutzer synchronisiert. Während dieses Prozesses kann es dem Benutzer weiterhin andere sofortige Interaktionen anbieten.

JD hat auch das zugrundeliegende System leichtgewichtig gestaltet: Durch Videokodierung, Langzeitgedächtnis und Kontextkompression kann das Modell kontinuierlich lange Videoströme zu geringen Kosten beobachten und die End-to-End-Latenz auf unter einer Sekunde halten. Für normale Leser sind diese technischen Begriffe nicht das Wichtige, sondern das Ergebnis: KI kann länger und mit niedrigeren Hürden in echten Szenarien eingesetzt werden.

Diese kostengünstige und umsetzbare Wahl führt direkt zur Open-Source-Strategie von JD. Nur wenn das Modell leichtgewichtig genug, das System vollständig genug und die Bereitstellungshürde niedrig genug ist, kann die Echtzeit-Visuell-Interaktion von einem Experiment weniger Teams zu einem Anwendungsökosystem werden, das von mehr Entwicklern und Unternehmen gemeinsam erforscht wird.

JD hat dieses Inferenzsystem bereits quelloffen gemacht. Das Ziel ist klar: Jeder, der eine Grafikkarte der Serie 3090 oder höher und eine Kamera besitzt, kann schnell eine eigene Echtzeit-Visuell-Interaktionsan