Dialog mit Zhao Tiancheng von Om AI: Jahrelanges Festhalten und Setzen auf die "Streaming"-Zukunft des physischen KI-Nativen

Ein multimodales Modell, das noch nie Überwachungsbilder gesehen hat, versteht Überwachungsszenarien besser als kleine Modelle, die seit Jahren mit Überwachungsdaten trainiert wurden. Das ist kein Science-Fiction-Film, sondern ein zufälliger Durchbruch von Om AI im Jahr 2023 – und der entscheidende Moment, in dem der CEO und Chefwissenschaftler Dr. Zhao Tiancheng noch stärker davon überzeugt war, dass multimodale Trainingsverfahren Generalisierbarkeit für die offene physische Welt bringen können. Zu dieser Zeit konzentrierte sich die KI-Branche auf generative KI mit großen Sprachmodellen im Kern.

Drei Jahre später entwickelte sich dieses multimodale Modell zu VLX – der weltweit ersten Serie von gestreamten multimodalen Modellen auf Geräteebene für physische KI. Es wurde erstmals eine neuartige Modellarchitektur namens „nativ gestreamtes Multimodal auf Geräteebene“ vorgestellt. Mit dieser Architektur, die von Anfang an für die Rechenleistungsbeschränkungen von Endgeräten entwickelt wurde, schloss das VLX-Modell erstmals den vollständigen Zyklus der physischen KI auf Geräteebene: „kontinuierliche Wahrnehmung + präzise Lokalisierung + Handlungsentscheidung“.

Übersicht über VLX

Zweifellos hat sich die Hitze in der KI-Branche im Sommer 2026 von der digitalen KI zur physischen KI verschoben. Im Gegensatz zur digitalen KI im Jahr 2023 ist die physische KI zwar sehr populär, aber die Branche hat sich noch nicht konsolidiert: Mehrere Entwicklungswege existieren nebeneinander und die praktische Anwendung ist noch weit entfernt – sprachzentrierte VLA, pixelzentrierte Videogenerierung, simulationszentrierte 3D-Strukturverarbeitung, visuell repräsentationszentriertes JEPA… Die Branche schwankt noch zwischen den beiden Hauptkonzeptpfaden VLA und Weltmodell: Sollen sie sich ersetzen, koexistieren oder verschmelzen?

Während die Branche noch darüber streitet, was die endgültige Lösung für physische KI ist, hat die VLX-Modellserie von Om AI bereits den geschäftlichen Zyklus der physischen KI abgeschlossen – von Simulationsexperimenten bis zur industriellen Anwendung. Indem es physischen Endgeräten wie Robotern, Drohnen, tragbaren Geräten, Überwachungskameras und AI-PCs ein „Kleinhirn“ für autonome Wahrnehmung und ein „Großhirn“ für kognitive Entscheidungen verleiht, ermöglicht es diesen Geräten den Übergang von „passiver Befehlsausführung“ zu „aktiver Szenenanpassung“.

VLX-Architekturdiagramm

Das ist kein Zufall, sondern das unvermeidliche Ergebnis der langjährigen, konzentrierten Arbeit von Om AI.

Im Jahr 2019, als Zhao Tiancheng seinen Doktortitel am Language Technology Institute der CMU erwarb, hatte er eine glänzende Biografie: Sein Betreuer Maxine Eskenazi gilt als Pionier von Dialogsystemen und entwickelte in den 1990er Jahren den weltweit ersten praktischen Dialogagenten. Zhao selbst war der Schöpfer der dritten Generation des Laborsystems – im Jahr 2016 wandelte er das seit 20 Jahren genutzte System als Erster mit neuronalen Netzen in ein end-to-end generatives Modell um. Zu dieser Zeit war es für ihn fast selbstverständlich, in die akademische Welt als Professor oder in ein großes Technologieunternehmen einzutreten.

Aber er wählte den dritten Weg – die Gründung eines Unternehmens. Und zwar einen Weg, den damals fast niemand verstand: Keine reinen Text-Großmodelle, keine Jagd nach dem Hype der generativen KI, sondern konzentrierte sich auf gestreamtes Multimodal mit „Vision + Sprache“. Auch heute noch ist dies kein Mainstream-Technologiepfad. Die Mainstream-Erzählung der Branche ist „offline-Frame-Extraktion“: Videos werden Frame für Frame als Bilder verarbeitet, die Inferenz erfolgt stapelweise, diskret und in Form von Frage-Antwort-Interaktionen. Zhao Tiancheng wollte von Anfang an „Streaming“ umsetzen: Videos fließen kontinuierlich in das Modell wie ein Wasserstrom, die KI beobachtet ständig, ohne auf eine menschliche Frage warten zu müssen.

Vorteil der Flow-Inferenzgeschwindigkeit

Das ist Zhaos eigene Einschätzung. Während seiner Zeit an der CMU erlebte er das 1-Milliarde-Dollar-Projekt von Yahoo für multimodale Agenten: „Das hat mir gezeigt, dass das Potenzial von Multimodal viel höher ist. Man hat das Gefühl, dass es sich um ein lebendiges Wesen handelt, nicht nur um ein Dialogsystem.“ Nach seiner Rückkehr nach China folgte er nicht dem Trend der generativen Dialogmodelle, die damals chinesische KI-Unternehmen verfolgten, sondern fusionierte konsequent Vision und Sprache – „das sind die beiden Hauptmodi, die mindestens 90 % der physischen Informationen abdecken.“

In fünf Jahren wechselte der KI-Bereich drei- bis viermal seine „Lieblingsthemen“: Von Textgenerierung zu Text-zu-Bild, von VLA zu Weltmodellen. Als Sprachmodelle 2023 populär wurden, sagte jemand zu ihm: „Du hast doch früher auch an Sprachmodellen gearbeitet – warum machst du das nicht jetzt?“ Bei jedem neuen Trend rieten ihm Investoren und Kollegen, „den Weg zu wechseln, um schneller Gewinne zu erzielen“.

„Unsere Technologie war vor dem Aufstieg der physischen KI nie das beliebteste Thema“, gibt Zhao Tiancheng zu. „Immer gab es populärere Dinge vor uns.“ Einige Teammitglieder verloren das Vertrauen und verließen das Unternehmen, aber mehr Kernmitglieder blieben. Diejenigen, die blieben, arbeiteten jahrelang kontinuierlich an den beiden Kernpunkten „Vision (V) und Sprache (L)“.

Fünf Jahre später fordert die KI-Branche, vom „Cloud-Bereich“ auf den „Boden“ zurückzukehren, in die Industrie einzudringen und echten Wert zu schaffen. Physische KI ist zum beliebtesten Konzept geworden: Im ersten Halbjahr 2026 überstieg die Finanzierung im globalen Bereich der physischen KI allein in einem Quartal 6,4 Milliarden US-Dollar. Physische KI wird auch in mehreren Szenarien angewendet – die intelligente Modernisierung von Industrierobotern, die breite Einführung des städtischen autonomen Fahrens NOA und andere intelligente Endgeräte auf Geräteebene verbreiten sich schnell. Aber in dieser Welle der physischen KI ist die VLX-Modellserie eines der wenigen gestreamten multimodalen Modelle, die auf Endgeräten laufen. Es beantwortet eine grundlegende Frage: Welche Architektur braucht KI in der physischen Welt eigentlich?

Die VLX-Modellserie gehört zu den wenigen Unternehmen, die drei geschlossene Zyklen erfolgreich umgesetzt haben: Der Modell-Zyklus macht VLXs „Flow + Seek + Go“ zu einem integrierten System für Wahrnehmung, Lokalisierung und Handlung – keine drei separaten Modelle, sondern drei untrennbare Fähigkeitsebenen auf demselben Videostrom. Der Daten-Zyklus lässt Millionen von Kameras, Drohnen, Robotern und anderen echten Geschäftsszenarien kontinuierlich Daten von Endgeräten zurückfließen, um die Modellverbesserung zu unterstützen. Der geschäftliche Zyklus erreicht die Produkt-Markt-Passung (PMF), und der Unternehmensumsatz erreicht die Größenordnung von 100 Millionen Yuan.

Drei Definitionsebenen von VLX

Als sich die Nachfragekurve der Industrie und die Akkumulationskurve der Technologie 2026 kreuzen, findet eine „gegenseitige Annäherung von Langfristigkeit und industriellem Wendepunkt“ statt. Während die physische KI endlich von der „Phase der Konzeptvermarktung“ in die „Phase der Szenenvalidierung“ eintritt, wirken Zhao Tiancheng und sein Team gelassen. Das ist keine Geschichte von Trendjägern, sondern ein Geschäftsbeispiel für Urteilskraft, Standhaftigkeit und eine über Jahre validierte „gegen den Konsum gerichtete“ Einschätzung.

Im Folgenden das Gespräch zwischen 36Kr und Zhao Tiancheng – der Text wurde redigiert:

Dr. Zhao Tiancheng, CEO und Chefwissenschaftler von Om AI

Das Wesen der physischen KI: Modus, Semantik, Geometrie, Vorhersage und Entscheidung

36Kr: Physische KI ist dieses Jahr sehr populär, und Weltmodelle sind einer der heißesten Technologiepfade – aber es gibt viele verschiedene Schulen und widersprüchliche Meinungen. Wie siehst du das?

Zhao Tiancheng: Physische KI ist ein sehr umfassendes Thema. Aus Sicht des Modells geht es bei jedem Pfad darum, dass die KI die Welt verstehen kann – das ist keine einzelne Aufgabe. Wie der Blog, den Li Feifei kürzlich veröffentlicht hat: Sie beschreibt drei von ihr verstandene Pfade, die sich letztendlich wahrscheinlich verschmelzen, anstatt drei separate Dinge zu sein.

Nach unserer Definition muss physische KI mindestens vier Fähigkeiten besitzen: Erstens muss das Modell den Inhalt darin erkennen – also semantische Informationen. Zweitens muss es den geometrischen Raum verstehen und wissen, wie die 3D-Form aussieht. Drittens muss es Entscheidungen treffen und Bewegungen steuern können. Viertens muss es auf Basis der ersten drei Fähigkeiten die Zukunft vorhersagen können.

Das von uns veröffentlichte Modell heißt VLX, weil X für unendliche Möglichkeiten steht – mindestens die vier oben genannten Fähigkeiten umfasst. Die derzeit im Internet verbreitete Aussage „VLA ist tot, das Weltmodell ist da“ ist eher eine Vermarktungsgag. Wie könnten die drei Modi von VLA veralten? „Vision, Sprache, Handlung“ sind konzeptionell nie veraltet, aber die zugrundeliegenden Methoden werden sich ständig ändern. Es ist falsch, Methode und Konzept gleichzusetzen. Unser Konzept ist daher nicht auf die Oberfläche zu schauen, sondern auf das Wesen: Wenn die vier Kernmodi – Semantik, geometrischer Raum, Wahrnehmungsplanung und Vorhersage – gemeistert sind, kommt die physische KI.

Physische KI ist ein multidimensionales Thema. Zum Beispiel ist Vorhersage nur eine Dimension davon – aber diese Dimension wurde früher selten erforscht und ist sehr schwierig. Die Vorhersage zukünftiger Bildverläufe wird zum Weltmodell, was derzeit sehr populär ist – aber diese Fähigkeit baut auf grundlegenden Fähigkeiten wie Semantik und Geometrie auf.

36Kr: Was sollte das erste Prinzip der physischen KI sein?

Zhao Tiancheng: Das erste Prinzip der physischen KI hängt im Wesentlichen davon ab, was man erreichen will. Om AI möchte einen physischen intelligenten Agenten schaffen, der in der physischen Welt wahrnimmt, entscheidet und ausführt. Ich hoffe, dass physische Endgeräte wie Drohnen, Roboterhunde und Roboter sehr intelligent sind, miteinander interagieren und Aufgaben erledigen können. Das Wichtigste ist zu sehen, welche Fähigkeiten für dieses Ziel fehlen. Derzeit wird die Sprachinteraktion immer besser und funktioniert fast problemlos – aber in offenen Umgebungen ist es früher fast unmöglich, ob sie autonom navigieren oder geschickt mit verschiedenen Objekten interagieren können.

Zum Beispiel haben physische Interaktionsszenarien sehr hohe Echtzeitanforderungen an Endgeräte: Sie brauchen ein Entscheidungszentrum, um schnell zu handeln. Über ein visuelles Zentrum empfangen sie Echtzeitinformationen aus der Außenwelt, dann entscheidet das Entscheidungszentrum autonom, was in diesem Moment zu tun ist – zum Beispiel die Tür öffnen oder sprechen.

Die derzeitige physische KI ist wie ein Gebäude mit einem Gerüst, dem aber noch viele Ziegel fehlen. Verschiedene Teams oder Unternehmen müssen gemeinsam daran arbeiten, um ein vollständiges System der physischen KI aufzubauen. Es ist unrealistisch und widerspricht dem ersten Prinzip, die gesamte physische KI mit nur einem Modell zu lösen. Das menschliche Gehirn ist auch in Bereiche unterteilt. Selbst wenn Sprachmodelle so leistungsstark sind, sind sie auf Anwendungsebene unterteilt. Physische KI ist komplexer und braucht daher die Zusammenarbeit der gesamten Industrieökosysteme.

Unterschied zwischen Cloud-KI und Endgeräte-KI

36Kr: Deiner Meinung nach – was ist der größte Engpass verschiedener Pfade auf Methodenebene bei der praktischen Anwendung der physischen KI?

Zhao Tiancheng: Weltmodelle oder andere Cloud-Modelle haben großen Wert. Aber wenn physische KI weit verbreitet ist, wird es unweigerlich eine starke Intelligenz auf Endgeräteebene geben – das ist unsere Überzeugung. Die physische Welt erfordert Interaktion, die schwerwiegende Folgen haben kann. Ein Fehler in einer Codezeile ist nicht schlimm, aber wenn ein Roboter plötzlich stehenbleibt oder stürzt, sind die Folgen sehr ernst – genau wie beim autonomen Fahren, wo ein plötzlicher Ausfall des Autos