Wenn die verkörperte Intelligenz den Schritt zum Weltmodell vollzieht, gibt es stattdessen sogar noch mehr „Probleme“.

Die verkörperte Intelligenz befindet sich an dem kritischen Punkt, an dem sich ihre technischen Wege beschleunigt differenzieren: Die Exploration wird umfassender, und es entstehen immer mehr neue Modelle und Verfahren.

„Wenn man über die technischen Wege der verkörperten Intelligenz spricht, ist das tatsächlich etwas ‚verwirrend‘“, sagte ein Mitarbeiter aus dem Technologiebereich gegenüber Tencent Tech: „Vor zwei Jahren sprachen alle noch über VLA, im letzten Jahr wurden neue Richtungen wie Weltmodelle und latente Räume häufig diskutiert, und einige Teams fügten Modellen fortlaufend verstärkendes Lernen, taktile Wahrnehmung und Online-Feedback hinzu. Jedes Unternehmen hat seine eigene Aussage dazu – je mehr man davon hört, desto schwieriger ist es zu beurteilen, welcher Weg eher in die Zukunft führen wird.“

Xi Ning, Vorstandsmitglied des Roboterausschusses der Chinesischen Elektronischen Gesellschaft, Lehrstuhlinhaber für Robotik und Automatisierung sowie Dekan der entsprechenden Fakultät an der Universität Hongkong und Direktor des Instituts für Neue Technologien, sagte gegenüber Tencent Tech, dass sich die technischen Wege der Verkörperung derzeit noch in der Phase der „blühenden Vielfalt“ befinden. Verschiedene Teams probieren ihre eigenen Verfahren aus, und ob ein Weg wirklich wirksam ist, muss sich noch in der Praxis bewähren; bevor sich die Wege konvergieren, werden ständig neue Ideen und Verfahren auftauchen.

Die Differenzierung der Wege schreitet weiter voran. Selbst wenn alle als „Weltmodell“ bezeichnet werden, haben verschiedene Teams unterschiedliche Antworten darauf, was genau es lernen und welche Probleme es lösen soll.

Am 1. September Ortszeit in den USA veröffentlichte das Team von Professor Li Feifei der Stanford University das weltweit erste multimodale Weltmodell Atlas, dessen Kernfähigkeit sich um das „Verstehen und Simulieren der 3D-Welt“ dreht. Das Modell soll die Welt über Position, Form, Entfernung und räumliche Beziehungen von Objekten verstehen.

Vor einigen Monaten schrieb Li Feifei einen Artikel mit dem Titel *A Functional Taxonomy of World Models*, in dem sie ihre Überlegungen zu „Weltmodellen“ zusammenfasste. Sie unterteilte Weltmodelle nach Funktionen in Renderer, Simulator und Planner: Einige sind dafür zuständig, eine realistisch wirkende Welt zu erzeugen, andere versuchen zu simulieren, wie die Welt funktioniert, und weitere sollen letztendlich dem Agenten helfen zu entscheiden, was als Nächstes zu tun ist. Derzeit alle als „Weltmodell“ bezeichneten Dinge sind eigentlich Projektionen dieses Zyklus in drei verschiedenen Richtungen.

In Li Feifeis Klassifizierung können diese drei Fähigkeiten letztendlich zusammenfließen, aber die heutigen Weltmodelle befinden sich offensichtlich noch in der Phase der parallelen Exploration mehrerer Wege.

Am 24. August veröffentlichten Wissenschaftler wie der Turing-Preisträger Yann LeCun das Papier „LpWM: A Case for Sparse Representations in World Models“, in dem sie weiter untersuchten, wie Weltmodelle die physische Welt intern darstellen sollen. Das Papier schlägt vor, die dichten Darstellungen, die das vorherige LeWM verwendet hat, durch *sparse representations* zu ersetzen, sodass die Veränderungen des Weltzustands nach einer Handlung leichter vorhersagbar sind und die Komplexität des für die Planung erforderlichen Prädiktors verringert wird.

Einige Tage später, am 27. August, veröffentlichten Yann LeCun und seine Kollegen zudem LeVJEPA, das das vorherige Lernverfahren von LeJEPA auf Videos ausweitet, um weiter zu erforschen, wie KI die Welt aus Videos verstehen kann. Es soll mit weniger Rechenaufwand aus einer großen Anzahl von Videos lernen, wie sich Objekte bewegen, wie sich die Umgebung verändert und welche Beziehungen zwischen aufeinanderfolgenden Zuständen bestehen.

Von Industrieunternehmen bis hin zu Spitzenforschern wie Li Feifei und Yann LeCun dreht sich der Kern der Aufmerksamkeit der Branche tatsächlich um dasselbe Problem: Wie genau soll das Modell lernen, die reale Welt zu verstehen und darzustellen, und dieses Verständnis weiter in Vorhersage-, Planungs- und Handlungsfähigkeit umwandeln.

Um dieses Problem herum beginnen auch inländische Teams für verkörperte Intelligenz, ihre jeweiligen spezifischeren technischen Antworten zu geben, und verschiedene Teams arbeiten an Richtungen wie VLA, Weltmodellen und verstärkendem Lernen.

„Das ist auch das Kernziel unseres physisch nativen Modells: Die Gesetze der Welt auf unterster Ebene wirklich zu verstehen“, sagte Zhang Tao, Gründer und CEO von Guangxiang Technology, auf einer kürzlichen Mediengesprächsveranstaltung.

Guangxiang Technology mit Hintergrund der Tsinghua-Universität hat kürzlich gemeinsam mit der Forschungsgruppe von Professor Li Shengbo der Tsinghua-Universität das erste physisch native Weltmodell Phi-WM 1.0 ActEffect veröffentlicht. Dieser Weg konzentriert sich auf physische Zustände, Zustandsübergänge und Auswirkungen von Handlungen, sodass das Modell verstehen soll, wie sich die Welt verändert und welche Ergebnisse die Handlungen von Robotern hervorrufen – letztendlich zielt dies darauf ab, die Generalisierungsfähigkeit von Robotern zu verbessern.

Zhang Tao ist der Ansicht, dass die verkörperte Intelligenz in der nächsten Phase hauptsächlich zwei Aspekte validieren muss: Zum einen, ob Roboter die zugrundeliegenden Gesetze der physischen Welt verstehen können, um bei neuen Objekten und Aufgaben wiederholtes Ausprobieren zu reduzieren; zum anderen, ob diese Fähigkeit in reale Szenarien einfließen kann, um Probleme zu lösen, die die traditionelle Automatisierung seit langem kaum abdecken kann, und quantifizierbaren Produktionswert zu schaffen.

Lü Yao, Chefwissenschaftler des Labors von Guangxiang Technology, ist der Ansicht, dass das „Verstehen“ in der physischen Welt letztendlich darauf hinausläuft, was genau das Modell aus den Daten gelernt hat: Ob es weiterhin die statistische Beziehung zwischen Eingaben und Ausgaben anpasst, oder ob es erkennen kann, wie sich Zustände verändern, warum diese Handlungen zu unterschiedlichen Ergebnissen führen und welche dieser Informationen auf neue Aufgaben und Szenarien übertragen werden können.

„Mit Nachahmungslernen nur anhand erfolgreicher Demonstrationen ist der Unterschied zwischen Modellen begrenzt. Was die Obergrenze der Fähigkeiten wirklich nach oben treibt, sind kontrafaktische Daten, die aus verschiedenen Handlungen und deren Erfolg- bzw. Misserfolgsresultaten unter demselben Zustand entstehen.“, sagte Lü Yao .

Die Datenmenge in der Branche der verkörperten Intelligenz wird weiter wachsen, und die Modelle werden weiter iterieren – aber was den Unterschied wirklich ausmachen wird, liegt zunehmend an der Frage „Was genau hat das Modell gelernt“.

Zhang Tao, Gründer und CEO von Guangxiang Technology, und Lü Yao, Chefwissenschaftler von Guangxiang Technology. Das Bild wurde per KI generiert

Im Folgenden finden Sie die ausgewählte Aufzeichnung der Mediengesprächsveranstaltung von Zhang Tao, Gründer und CEO von Guangxiang Technology, und Lü Yao, Chefwissenschaftler des Labors von Guangxiang Technology:

01

Roboter zuerst das „Warum“ verstehen lassen

Frage: Guangxiang Technology hat das physisch native Weltmodell Phi-WM 1.0 veröffentlicht. Was bedeutet „physisch nativ“ hier genau?

Lü Yao: Wir verstehen das hauptsächlich auf zwei Ebenen.

Erstens wurde das Phi-System von Anfang an für die Interaktion zwischen Robotern und der realen physischen Welt entwickelt.

Zweitens hoffen wir, bei der Modellarchitektur und den Trainingsverfahren aus den Interaktionsdaten die echten nativen Informationen der physischen Welt zu lernen – der Kern liegt dabei in den objektiven physischen Gesetzen und der Kausalität, mit der Handlungen Zustandsveränderungen antreiben.

Frage: Derzeit ist VLA in der Branche noch der Mainstream, und immer mehr Unternehmen beginnen, Weltmodelle zu entwickeln. Warum ist Guangxiang Technology der Ansicht, dass man den Weg wechseln muss?

Lü Yao: Nach unserer Einschätzung stößt VLA bereits an einige Fähigkeitsgrenzen.

VLA ist gut darin, die Abbildung zwischen Eingaben und Handlungsausgaben zu lernen, daher funktioniert es bei der Nachahmung menschlicher Demonstrationen sehr gut – aber es weist Einschränkungen beim Verstehen der Umgebung und der Argumentation bei langfristigen Aufgaben auf.

Zudem hängen viele heutige VLA-Systeme vorne von Sprachmodellen ab und bilden später Sprach-Token auf den Handlungsraum ab. Wir sind der Ansicht, dass es darin eine erhebliche modale Kluft gibt.

Daher ist es unserer Meinung nach sehr schwierig, durch bloße Vergrößerung der Datenmenge für das Training von VLA eine Roboterstrategie mit echter allgemeiner Generalisierungsfähigkeit zu erhalten. Das ist auch der Grund, warum immer mehr Teams zu Weltmodellen wechseln.

Ein Weltmodell, wie wir es verstehen, soll in der Lage sein, die Zustände der realen Welt im latenten Raum darzustellen und zu lernen, wie diese Zustände übergehen – vor allem muss es verstehen, wie die Handlungen von Robotern den Zustandsübergang beeinflussen.

Frage: Wie beurteilt Guangxiang Technology die derzeitige vorhersageorientierte Entwicklungsrichtung der verkörperten Intelligenz? Welche Probleme müssen auf diesem Weg noch gelöst werden?

Lü Yao: Der reine Videovorhersageweg ist nicht wirkungslos. Er kann gut vom Scaling Law profitieren: Je mehr Daten es gibt, desto besser ist die Leistung in der Regel.

Aber das wirklich Schwierige ist der Schritt von 99 % zu fast 100 %. Wenn das Modell hauptsächlich durch statistische Anpassung die Abbildung zwischen Eingaben und Ausgaben lernt und es an physischen Gesetzen und strukturellen Beschränkungen fehlt, lassen sich Probleme ähnlich den „Halluzinationen“ großer Modelle kaum vollständig beseitigen.

Roboter müssen letztendlich Handlungen in der physischen Welt ausführen, was höhere Anforderungen an Genauigkeit, Stabilität und Sicherheit stellt. Daher sind wir der Ansicht, dass Modelle physische Gesetze und Handlungskausalität lernen müssen, um wirklich zu verstehen, wie eine Handlung die Welt verändert.

Zhang Tao: Lassen Sie uns ein einfaches Beispiel nennen: Wenn man Objekte mit unterschiedlichem Gewicht und unterschiedlicher Form in einen Korb wirft, kann das dies nach umfangreichem Training vermutlich lernen. Aber wenn es auf ein neues, nie gesehenes Objekt trifft und vollständig auf Datenanpassung setzt, muss es möglicherweise noch viele Versuche unternehmen. Wenn das Modell die zugrundeliegenden Gesetze wie Schwerkraft, Masse und Form versteht, kann es sich schneller an neue Objekte anpassen. Das ist auch das Kernziel unserer Entwicklung von physisch nativer Intelligenz.

Frage: Warum sind Sie der Ansicht, dass die Zustände im latenten Raum für Roboter geeigneter sind als die direkte Vorhersage zukünftiger Videos? Warum teilen Sie die physischen Zustände in explizite und latente Teile auf?

Lü Yao: Der Vorteil der Vorhersage im Pixelraum liegt auf der Hand: Sie kann Videodaten und das Scaling Law gut nutzen. Aber wir sind der Ansicht, dass sie zwei Probleme aufweist:

Erstens die Zuverlässigkeit. Videogenerierungsmodelle haben selbst das Problem der Halluzinationen, während Roboter sehr hohe Anforderungen an die Erfolgsrate stellen.

Zweitens die Effizienz der Argumentation. Wenn bei der Bereitstellung ständig zukünftige Bilder vorhergesagt und daraus Handlungen generiert werden müssen, ist die gesamte Kette relativ lang, was der Echtzeitsteuerung in der Industrie nicht förderlich ist.

Was noch wichtiger ist: Ein Roboter braucht keine vollständige Wiederherstellung aller visuellen Details der zukünftigen Welt, um eine bestimmte Aufgabe zu erledigen. Wir hoffen vielmehr, dass das die zustandsbezogenen Informationen extrahiert, die direkt mit der Aufgabe zusammenhängen, in dem Merkmalsraum lernt, wie sich diese Zustände verändern, und dann diesen Zustandsübergang nutzt, um Strategien zur Generierung von Handlungen zu unterstützen.

Auf dieser Grundlage teilen wir die Zustände weiter in explizite und latente Teile auf.

Viele heutige Verfahren kodieren verschiedene Eingaben wie Videos und eigene Zustände einheitlich und übergeben sie dann neuronalen Netzen zum Lernen. Aber wir sind der Ansicht, dass einige physische Zustände bereits von Menschen klar beschrieben werden können – wie Position, Geschwindigkeit, Kraft und Lage – und ihre Veränderungsgesetze durch Dynamik oder Kinematik beschrieben werden können. Für diesen Teil ist es nicht notwendig, vollständig von Grund auf durch neuronale Netze zu lernen, sondern vorhandenes physisches Wissen kann direkt genutzt werden.

Für Informationen wie Bilder und 3D-Punktwolken, die kaum durch klare Formeln vollständig beschrieben werden können, lernen wir dann die Zustände und Veränderungsgesetze durch neuronale Netze. Das ist das von uns genannte entkoppelte Darstellungsverfahren von expliziten und latenten Zuständen: Teile, die explizit modelliert werden können, nutzen direkt physisches Wissen, und Teile, die kaum explizit modelliert werden können, werden durch datengesteuerte Verfahren zum Lernen übergeben.

Frage: Viele Teams entwickeln derzeit latente Raum-Weltmodelle. Was ist der größte Unterschied zwischen dem „physisch nativen Weltmodell“ von Guangxiang Technology und diesen Modellen?

Lü Yao: Viele heutige latente Weltmodelle lösen hauptsächlich das Darstellungsproblem: Sie rekonstruieren nicht mehr den gesamten Pixelraum, sondern führen Handlungsargumente im latenten Raum durch.

Für uns ist der latente Raum nur eines der Merkmale. Wir legen mehr Wert darauf, ob wir im latenten Raum die physischen Signale extrahieren können, die wirklich mit der Aufgabe zusammenhängen, um weiter physische Gesetze und die Auswirkungen von Handlungen auf zukünftige Ergebnisse zu lernen.

Der entscheidende Punkt ist nicht nur „ob es ein latenter Raum ist“, sondern was genau das Modell darin gelernt hat.

02

Selbst mit vielen Daten muss man wissen, was man lernen soll

Frage: Aus der Perspektive der physisch nativen Intelligenz: Welche Daten bestimmen tatsächlich die Obergrenze der Fähigkeiten von Robotern?

Lü Yao: Wir sind der Ansicht, dass eine sehr wichtige Datenquelle kontrafaktische Daten sind, die durch umfangreiches Ausprobieren von Robotern in Simulationsumgebungen entstehen.

Wenn man nur durch Nachahmungslernen erfolgreiche Demonstrationen anpasst, ist der Unterschied zwischen Modellen verschiedener Anbieter möglicherweise nicht besonders groß.

Was noch wichtiger ist: Das Modell soll verstehen, wie sich die Welt verändert, wenn man unter demselben Zustand eine andere Handlung ausführt, und welche Handlungen zum Erfolg und welche zum Misserfolg führen. Das wirklich Knappe sind also nicht nur mehr erfolgreiche Demonstrationen, sondern Daten, die das Modell bei kontrafaktischer Argumentation und kontrastivem Lernen unterstützen.

Frage: Bleibt das Scaling Law auch dann gültig, wenn man in die physische Welt eintritt? Kann die fortlaufende Vergrößerung der Datenmenge die Fähigkeiten des Robotermodells weiter verbessern?

Lü Yao: Ich denke, es bleibt gült