Mit einer Investition von mehreren hundert Millionen Yuan von Fonds wie GL Ventures, LatentVerse: Wir wollen nicht als Weltmodell-Unternehmen bezeichnet werden, sondern ein auf Embodiment ausgerichtetes natives Gehirn entwickeln | Exklusive Erstveröffentlichung von 36Kr

Text ｜ Deng Yongyi

Redaktion ｜ Zhang Yuxin

Der Bereich der Embodied Intelligence braucht möglicherweise kein weiteres Unternehmen für Weltmodelle mehr – aber ein Forscher, der 2001 geboren wurde, hat sich trotzdem entschieden, in diesem boomenden Moment ein eigenes Unternehmen zu gründen.

„Auf dem Markt gibt es zu viele Unternehmen, die Weltmodelle entwickeln, und viele von ihnen haben keine eigenen Besonderheiten“, sagte Hu Yucheng, Gründer von LatentVerse. Er will sich aber nicht in eine dieser Kategorien einordnen lassen, und auch LatentVerse entwickelt kein Weltmodell.

Hu Yucheng ist derzeit Doktorand an der Interdisziplinären Fakultät der Tsinghua-Universität. Im April dieses Jahres verließ er Seed von ByteDance und gründete gemeinsam mit Mitgliedern von Institutionen wie der Tsinghua-Universität, der Nanyang Technological University, der Peking-Universität, Qwen, ByteDance und Xiaomi das Unternehmen „LatentVerse“, das sich auf native Basismodelle für Embodied Intelligence spezialisiert.

△ Hu Yucheng, CEO von LatentVerse

„Intelligence Emergence“ hat exklusiv erfahren, dass das Embodied-Intelligence-Unternehmen LatentVerse eine Seed-Finanzierungsrunde im Wert von mehreren hundert Millionen Renminbi abgeschlossen hat. Die ersten Investoren umfassen Fonds wie GL Ventures, Qingliu Capital, Zhiyuan, Star Motion Era und InnoAngel.

In den letzten zwei Jahren war VLA (Vision-Language-Action) der vorherrschende technische Ansatz im Bereich der Embodied Intelligence. Von RT-2 bis zum beliebten Pi-0.5 lautet der branchenübliche Entwicklungsweg: Sobald das Vision-Language-Modell mit der Aktionsausgabe verbunden und mit ausreichend Daten zum Roboterbetrieb trainiert wird, kann das Modell lernen, in der physischen Welt zu handeln.

Aber VLA hat eine grundlegende Einschränkung: Es kann nur Daten mit Aktionsannotationen nutzen. Diese Daten werden durch die Steuerung von Roboterarmen erfasst, die durchschnittlichen Kosten betragen mehr als tausend Yuan pro Stunde, außerdem sind spezielle Bediener erforderlich, was die Effizienz relativ niedrig macht.

Ein anderer Ansatz ist das reine Weltmodell: Durch Videogenerierung wird der zukünftige Zustand vorhergesagt und dann in Aktionen umgewandelt, wodurch die Kosten für die Datenerfassung niedriger sind und alle Videos im Internet in das Training einbezogen werden können. Es kann jedoch keine allgemeinen Vision-Language-Daten nutzen und fehlt die semantische Verständnisfähigkeit und die Emergenzfähigkeit, die VLM bietet. Ein Modell, das nur Änderungen von Bildern vorhersagen kann, kann auch nicht verstehen, was die Anweisung „Reiche dem Gast die Tasse“ bedeutet.

LatentVerse hat einen dritten Weg gewählt: Weder VLA noch das derzeit beliebte WAM zu entwickeln, sondern VLM und das Weltmodell in derselben Architektur zu vereinheitlichen.

Tatsächlich gehört Hu Yucheng zu den ersten Forschern, die bewiesen haben, dass „Weltmodelle Roboteraktionen direkt steuern können“. Anfang 2024 schlug er das multimodale Diffusions-VLA (PAD) vor, im November desselben Jahres stellte er VPP vor, das erste Video-Aktionsmodell mit geschlossenem Regelkreis, das in der Branche als Grundlagenwerk des WAM (World Action Model) bezeichnet wird. Später entwickelte NVIDIA darauf aufbauend DreamZero.

Nach seinem Eintritt bei ByteDance Seed leitete er die Entwicklung der BagelVLA-Serie von Basismodellen für Embodied Intelligence, die Veröffentlichung der zugehörigen Arbeiten erfolgte sogar früher als die repräsentative Arbeit Pi07 von Physical Intelligence.

Seine Erfahrungen in der Industrie ließen Hu Yucheng einen wichtigen technischen Wendepunkt erkennen: Um das Endziel des physischen AGI zu erreichen, liegt der Schlüssel darin, den Datenengpass zu lösen – weder der reine VLA-Ansatz noch der reine Weltmodell-Ansatz können das Ziel erreichen, es wird ein Basismodell benötigt, das Verständnis, Vorhersage und Aktion in derselben Architektur vereinigt.

Mit sinkenden Kosten für die Datenerfassung ist das Datenproblem im Jahr 2026 zum wichtigsten Thema im Bereich der Embodied Intelligence geworden, was sich allmählich zu einem Konsens in diesem Bereich entwickelt.

Wette auf das einheitliche taktile Aktionsmodell

Das erste Modell, das LatentVerse trainiert, UTAM (Unified Tactile Action Model), hat sich aus dem zuvor vom Team vorgeschlagenen UAM (Unified Action Model) entwickelt und gibt gleichzeitig visuelle, sprachliche und taktile Rückmeldesignale aus.

Genauer gesagt enthält dieses Modell vier Expertenmodule, die eine vollständige Ausführungskette bilden: Der Vision-Language-Experte ist für das Verständnis der Aufgabenabsicht verantwortlich; der Weltmodell-Experte kombiniert die zuvor aus Videos erlernten Fähigkeiten, um einen neuen Aufgabenablauf zu planen; der Aktionsexperte generiert aus der Inferenzkette der ersten beiden eine grobkörnige Aktionsrepräsentation (Latent Action), die einer großen Aktionsanweisung wie „Strecke die Hand aus, um die Tasse zu holen“ entspricht; schließlich dekodiert der taktile Experte mit Hochfrequenz-Inferenz diese grobe Aktion zu feinen Endsteuersignalen – zum Beispiel die Echtzeitanpassung von Kraft und Haltung, nachdem der Finger die Wand der Tasse berührt hat. Der erste Teil ist eine Ausführung mit offenem Regelkreis, der zweite Teil ist eine taktile Korrektur mit geschlossenem Regelkreis, ähnlich der menschlichen Logik „zuerst die Hand ausstrecken, dann nach Gefühl feinjustieren“.

Die Wahl des Modellansatzes ergibt sich aus der Rückwärtsableitung der Szenarien, auf die das Team setzt. „Generalisierung, Langstreckigkeit und Geschicklichkeit sind keine drei unabhängigen technischen Indikatoren, sondern Fähigkeitsbedingungen, die die Roboter für die Kommerzialisierung gleichzeitig erfüllen müssen“, sagte Hu Yucheng. „Wir glauben, dass das Basismodell für Embodied Intelligence stärkere allgemeine Generalisierungsfähigkeiten haben sollte, zum Beispiel in häuslichen Szenarien.“

Der technische Ansatz, auf den LatentVerse setzt, umfasst mehr Dimensionen der Datenerfassung und längere Aufgaben. Zum Beispiel muss der Roboter Hotelzimmer reinigen, Getränke in engen Räumen verpacken, weiche Objekte im Haushalt greifen und so weiter.

Im Rahmen von LatentVerse muss der Roboter beim Eintritt in reale Szenarien über zwei Fähigkeiten gleichzeitig verfügen: kognitive Intelligenz und Kontaktintelligenz. Die kognitive Intelligenz ist für das Verständnis von Anweisungen und die Planung von Schritten verantwortlich – das ist etwas, was VLA und Weltmodelle bereits tun.

Aber Kognition allein reicht nicht aus, die Kontaktinformationen des letzten Zentimeters bestimmen, ob der Roboter den Vorgang wirklich abschließen kann. Zum Beispiel, ob die Oberfläche des Wasserbechers glatt ist oder ob sich das flexible Objekt beim Greifen verformt – diese Informationen können nicht nur durch Sehen erfasst werden, sondern müssen durch taktile Rückmeldung in Echtzeit korrigiert werden.

Diese Aufgaben erfordern nicht nur die Vorhersage, was im nächsten Frame passiert, sondern gleichzeitig die Fähigkeit, Anweisungen zu verstehen, Schritte zu planen, physische Veränderungen vorherzusagen, Kontakte wahrzunehmen und genaue Aktionen zu generieren.

In den letzten zwei Jahren konnten im Bereich der Embodied Intelligence nur einige feste Szenarien erreicht werden – zum Beispiel präzise Vorgänge in der Industrie, aber es ist immer noch schwierig, die Fähigkeitsgeneralisierung bei Ansätzen wie VLA zu erreichen.

Der Vorteil des einheitlichen Embodied-Modell-Ansatzes liegt darin, dass der nutzbare Datenbereich viel größer ist als bei reinem VLA. Alle videos, die mit Vorgängen zusammenhängen, maschinendaten verschiedener Entitäten und allgemeine VLA-Daten können in das Trainingsframework einbezogen werden. Wenn der Datenumfang steigt, verbessert sich die Generalisierungsfähigkeit des Modells für Szenarien und Objekte erheblich.

Aber die Schwierigkeiten sind auch offensichtlich: Es fehlen nutzbare qualitativ hochwertige Daten. Auch wenn die Entwicklung des Bereichs der Embodied Intelligence in der Vergangenheit den Umfang der Datenerfassung schnell erweitert hat, werden diese Daten meist für bestimmte Aufgaben erfasst und lassen sich nur schwer für das Training allgemeiner Aufgabenfähigkeiten wiederverwenden.

Hu Yucheng erklärte, um einen Fähigkeitssprung bei demselben Modellansatz zu erreichen, „muss erstens der Datenumfang steigen, zweitens muss das Modell Massendaten nutzen können – nicht nur selbst erfasste Daten, sondern auch Videodaten im Internetmaßstab und heterogene Daten verschiedener Entitäten. Die Dimensionen der Datenverarbeitung sind auch komplexer, es muss beschrieben werden, wie die gesamte Aufgabe zerlegt wird, um sie in verschiedenen Trainingsphasen zu verwenden.“

Aus diesem Grund hat LatentVerse in den Monaten seit seiner Gründung eine vollständige Kette aufgebaut, die Datenerfassung, Datenverarbeitung und Modelltraining abdeckt. Dazu gehört zunächst eine selbst entwickelte Datenerfassungspipeline sowie das native Weltmodell für Embodied Intelligence, das LatentVerse derzeit trainiert.

Aus Sicht der Bereitstellung hat das native Embodied-Modell auch strukturelle Vorteile.

Gegenwärtig steht die Embodied Intelligence allgemein vor dem Problem, dass „Demos gut aussehen, aber die skalierbare Bereitstellung schwierig ist“. Der Kerngrund liegt in der unzureichenden Robustheit des Modells – Änderungen der Beleuchtung, menschliche Störungen und inkonsistente Szenarienanordnungen in realen Szenarien führen dazu, dass die Ausfallrate weit höher ist als bei Demos. „Der VLM-Experte kann menschliche Absichten erzeugen, physische Informationen verstehen und das nächste Urteil fällen, während der Weltmodell-Experte Massendaten nutzen kann, um die Robustheit gegenüber Szenarien, Objekten und Aufgaben zu verbessern und diskreten Text in visuell reichhaltige Signale umzuwandeln“, sagte Hu Yucheng.

Technisch schwieriger als VLA, Szenarien breiter als Fabriken

Die Voraussetzung dafür, dass der native Embodied-Modell-Ansatz funktioniert, sind Daten.

Die Wahl dieses Trainingsansatzes führt zu einem starken Anstieg der Trainingsschwierigkeit: Bei der Datenverarbeitung müssen Langzeitaufgaben in mehrere Schritte zerlegt und schrittweise annotiert werden, was viel komplexer ist als die Verarbeitung von Bildern oder Texten. Das Training erfordert die gleichzeitige Durchführung mehrerer Phasen und mehrerer Aufgaben. Der WAM-Ansatz hängt von Diffusionsmodellen ab, und zum Beispiel die Inferenzverzögerung ist ein technisches Problem, das noch nicht vollständig gelöst ist.

„Unser Team hat sowohl den reinen VLA-Ansatz als auch den reinen Weltmodell-Ansatz ausprobiert, also kennen wir die jeweiligen Grenzen“, sagte Gründer Hu Yucheng. Ein weiteres Beispiel ist, dass ein weiterer Mitbegründer von LatentVerse für die Algorithmen der geschickten Hände und die Bewegungssteuerung verantwortlich ist, um die Lücke auf der Steuerseite zu schließen – nachdem die Datenkette von der Roboterentität bis zu den menschlichen Händen durchgängig gemacht wurde, hofft LatentVerse, einen Daten-Flywheel für Embodied-Szenarien aufzubauen.

Dafür hat LatentVerse ein junges und kompaktes Team aufgebaut, dessen Algorithmus-Team die Kernalgorithmusmodule der Embodied Intelligence, geschickte Hände, Simulation, 3D-Sehen und andere roboterbezogene Teilbereiche abdeckt.

Derzeit ist die Datenstrategie von LatentVerse in drei Ebenen unterteilt: Bediendaten (erfasst per VR, mit genauen Aktionsannotationen) trainieren nur den Aktionsexperten; Daten, die von menschlichen Händen erfasst werden (z. B. egozentrische Daten), und Open-Source-Videodaten trainieren den Verständnis- und Weltmodell-Experten.

Auf der Seite der Datenerfassung setzt LatentVerse auf einen Ansatz zur Datenerfassung ohne Roboterentitäten. Das Team entwickelt derzeit selbst einen Datenerfassungshandschuh und hat erste Kooperationen mit einigen Datenerfassungsbasen aufgebaut. „Die vorhandenen Datenerfassungshandschuhe reichen nicht aus, um unsere Anforderungen zu erfüllen“, sagte Hu Yucheng. In Zukunft sollen nicht-professionelle Personen durch tragbare Geräte an der Datenerfassung teilnehmen und diese sogar in den Alltag integrieren. Mit dem Datenerfassungskonzept von LatentVerse sinken die Erfassungskosten pro Stunde von der Tausend-Yuan-Klasse auf unter 100 Yuan.

Aber was die Fähigkeit des Modells bestimmt, sind vor allem die Datenqualität und die Art und Weise, wie die Daten verwendet werden.

Eine weitere Besonderheit des LatentVerse-Teams liegt darin, dass der Kern des Teams seit Anfang 2024 an dem einheitlichen Modellansatz arbeitet, wobei die meisten Arbeiten bahnbrechend und nicht folgernd sind und zu einer wichtigen technischen Grundlage der Branche geworden sind.

Zum Beispiel ist Zhang Jianke, Mitbegründer von LatentVerse, der Leiter mehrerer bahnbrechender Arbeiten im Bereich der Embodied Intelligence – von HiRT (dem schnellen-langsamen System für Embodied Intelligence, das von Helix von Figure übernommen wurde) über UP-VLA (das erste integrierte Embodied-Modell für Generierung und Verständnis) bis hin zu VLM4VLA, das die inhärenten Grenzen von VLM als Embodied-Basismodell systematisch nachweist.

„Die Emergenz der Fähigkeiten von Embodied-Modellen kann nicht einfach den Entwicklungspfad von LLM übernehmen. Während die Daten skaliert werden, sollten auch die strukturierten Informationen in verschiedenen heterogenen Daten voll ausgenutzt werden, um eine einheitliche Repräsentation aufzubauen“, sagte Hu Yucheng.

Nach der Planung von LatentVerse wird das Unternehmen nach einem Quartal das erste Embodied-Basismodell mit 16B-Parametern veröffentlichen und innerhalb von ein bis eineinhalb Jahren Hunderttausende Stunden an Trainingsdaten ansammeln.

Bei der Wahl der Szenarien hofft LatentVerse, komplexere Dimensionen von Signalen wie Taktilem in das Modell einzubeziehen, und nachdem die Allgemeingültigkeit und Generalisierungsfähigkeit erreicht wurden, ein breiteres Spektrum von Szenarien in Industrie, Gewerbe und Haushalt abzudecken.

Dies ergibt sich aus dem unterschiedlichen Verständnis des LatentVerse-Teams für Weltmodelle. Nach seiner Definition kann jedes Modell, das das nächste Token vorhersagt, als Weltmodell betrachtet werden. Der eigentliche Unterschied zwischen den Ansätzen der verschiedenen Unternehmen liegt in der Definition des Zustandsraums. „Wir glauben, dass wir ein natives Weltmodell für Embodied Intelligence sind, ein Weltmodell für die Robotik.“

Hinter dieser Definition steht tatsächlich ein Urteil über die Szenarien. Der Hauptgrund dafür, dass Embodied Intelligence bisher nur in vertikalen Szenarien eingesetzt werden kann, ist die unzureichende Fähigkeit des „Gehirns“. Nur wenn die Allgemeingültigkeit und Generalisierungsfähigkeit vollständig erreicht sind, können unstrukturierte Szenarien wie Haushalte erschlossen werden.

„Was die Embodied Intelligence überwinden muss, ist der letzte Zentimeter zwischen Kognition und Kontakt.“ Nach Ansicht von Hu Yucheng muss der Roboter nicht nur lernen, die Welt zu sehen, sondern auch, die Welt zu berühren. Zuerst muss der Roboter lernen, praktischen Wert in der realen Welt zu liefern.

Bildquelle ｜ KI-generierte Grafik