Mit einer Finanzierung in Höhe von mehreren hundert Millionen Yuan von Fonds einschließlich GL Ventures erklärt LatentVerse, dass es nicht als Weltmodell-Unternehmen bezeichnet werden möchte, sondern darauf abzielt, ein verkörpertes natives Gehirn zu entwickeln | Erstveröffentlichung auf Intelligent Emergence

Text｜DENG Yongyi

Redaktion｜ZHANG Yuxin

Im Bereich der verkörperten Intelligenz wird wahrscheinlich kein weiteres Unternehmen für Weltmodelle mehr benötigt – doch ein 2001 geborener Forscher hat sich dennoch entschieden, in dieser heißen Phase ein eigenes Startup zu gründen.

„Auf dem Markt gibt es bereits zu viele Unternehmen, die Weltmodelle entwickeln, und viele davon haben keine eigenen Besonderheiten“, sagt HU Yucheng, Gründer von LatentVerse. Er möchte sich jedoch keinem dieser Unternehmen zuordnen lassen, und das, was LatentVerse entwickelt, ist auch kein Weltmodell.

Der 2001 geborene Forscher ist derzeit Doktorand an der Interdisziplinären Fakultät der Tsinghua-Universität. Im April dieses Jahres verließ er seine Stelle bei ByteDance Seed und gründete gemeinsam mit Mitgliedern von Einrichtungen wie der Tsinghua-Universität, der Nanyang Technological University, der Peking-Universität, Qwen, ByteDance und Xiaomi das Unternehmen „LatentVerse“, das sich der Entwicklung von nativen Grundmodellen für verkörperte Intelligenz widmet.

△ HU Yucheng, CEO von LatentVerse

„Intelligenz Emergiert“ erfuhr exklusiv, dass das Unternehmen für verkörperte Intelligenz LatentVerse eine Seed-Finanzierung in Höhe von mehreren hundert Millionen RMB abgeschlossen hat. Zu den ersten Investoren gehören Fonds wie GL Ventures, Qingliu Capital, Zhiyuan, Star Dynamic Era und Inno Angel.

In den letzten zwei Jahren war VLA (Vision-Language-Action) der am weitesten verbreitete technische Ansatz für verkörperte Intelligenz. Von RT-2 bis zum beliebten Pi-0.5 lautet der branchenübliche Entwicklungsweg: Sobald das Vision-Language-Modell mit der Aktionsausgabe verbunden und mit genügend Roboter-Betriebsdaten trainiert wird, kann das Modell lernen, in der physischen Welt zu handeln.

Aber VLA hat eine grundlegende Einschränkung: Es kann nur Daten mit Aktionsmarkierungen nutzen. Diese Daten werden durch das Bedienen von Roboterarmen erfasst, die durchschnittlichen Kosten betragen mehr als tausend Yuan pro Stunde, und es sind spezielle Bediener erforderlich, was die Effizienz relativ niedrig hält.

Ein anderer Ansatz ist das reine Weltmodell: Es generiert zukünftige Zustände durch Videoprognosen und bildet diese dann in Aktionen ab, wodurch die Kosten für die Datenerfassung niedriger sind und Videos aus dem Internet für das Training genutzt werden können. Es kann jedoch keine allgemeinen Vision-Language-Daten nutzen und fehlt das semantische Verständnis und die Emergenzfähigkeit, die VLM mit sich bringt. Ein Modell, das nur die Änderung von Bildern vorhersagen kann, kann auch nicht verstehen, was die Anweisung „Gib dem Gast die Tasse“ bedeutet.

LatentVerse wählt den dritten Ansatz: Es entwickelt weder VLA noch das derzeit beliebte WAM, sondern vereinigt VLM und Weltmodell in derselben Architektur.

Tatsächlich war HU Yucheng einer der ersten Forscher, der nachgewiesen hat, dass „Weltmodelle Roboteraktionen direkt steuern können“. Anfang 2024 stellte er das multimodale Diffusions-VLA (PAD) vor, und im November desselben Jahres entwickelte er VPP, das erste Video-Aktionsmodell mit geschlossener Schlussfolgerung. Letzteres wird in der Branche als bahnbrechendes Werk für WAM (World Action Model) bezeichnet, später entwickelte NVIDIA darauf aufbauend DreamZero.

Nach seinem Eintritt bei ByteDance Seed leitete er die Entwicklung der BagelVLA-Serie von Grundmodellen für verkörperte Intelligenz, und die Veröffentlichung der zugehörigen Arbeiten erfolgte sogar früher als die repräsentative Arbeit Pi07 von Physical Intelligence.

Seine Erfahrungen in der Industrie ließen HU Yucheng einen wichtigen technischen Wendepunkt erkennen: Um das Endziel des physischen AGI zu erreichen, liegt der Schlüssel darin, das Datenengpassproblem zu lösen – weder der reine VLA-Ansatz noch der reine Weltmodell-Ansatz können das Ziel erreichen. Es ist ein Grundmodell erforderlich, das Verständnis, Vorhersage und Aktion in derselben Architektur vereinigt.

Mit sinkenden Kosten für die Datenerfassung ist Daten im Jahr 2026 zum wichtigsten Thema im Bereich der verkörperten Intelligenz geworden, was allmählich zum Konsens in diesem Bereich wird.

Einsatz auf das vereinheitlichte taktile Aktionsmodell

Das erste Modell, das LatentVerse trainiert, UTAM (Unified Tactile Action Model), hat sich aus dem zuvor vom Team vorgestellten UAM (Unified Action Model) entwickelt und gibt gleichzeitig visuelle, sprachliche und taktile Rückmeldungssignale aus.

Genauer gesagt enthält dieses Modell vier Expertenmodule, die eine vollständige Ausführungskette bilden: Das Vision-Language-Expertenmodul ist für das Verständnis der Aufgabenabsicht zuständig; das Weltmodell-Expertenmodul kombiniert die zuvor aus Videos erlernten Fähigkeiten, um neue Aufgabenabläufe zu planen; das Aktions-Expertenmodul generiert aus den Schlussfolgerungsketten der ersten beiden Module eine grobkörnige Aktionsrepräsentation (Latent Action), die einer großen Aktionsanweisung wie „Strecke die Hand aus, um die Tasse zu greifen“ entspricht; schließlich wandelt das taktile Expertenmodul mit Hochfrequenz-Schlussfolgerung diese grobe Aktion in feine Endsteuerungssignale um – zum Beispiel passt es Kraft und Haltung in Echtzeit an, nachdem die Finger die Wand der Tasse berührt haben. Der erste Teil ist eine offene Ausführung, der zweite Teil ist eine taktile geschlossene Korrektur, ähnlich der menschlichen Bedienlogik „zuerst die Hand ausstrecken, dann nach Gefühl feinjustieren“.

Die Wahl des Modellanatzes ergibt sich aus der Rückschau auf die Szenarien, auf die das Team setzt. „Generalisierung, Langzeitverhalten und Geschicklichkeit sind keine drei unabhängigen technischen Indikatoren, sondern Fähigkeitsvoraussetzungen, die die Roboterkommerzialisierung gleichzeitig erfüllen muss“, sagt HU Yucheng. „Wir glauben, dass Grundmodelle für verkörperte Intelligenz stärkere allgemeine Generalisierungsfähigkeiten haben sollten, zum Beispiel in häuslichen Szenarien.“

Der technische Ansatz, auf den LatentVerse setzt, umfasst mehr Dimensionen der Datenerfassung und längere Aufgaben. Zum Beispiel müssen Roboter in Hotels Zimmer reinigen, Getränke in engen Räumen verpacken, weiche Objekte in Haushalten greifen usw.

Im Rahmen von LatentVerse müssen Roboter in realen Szenarien zwei Fähigkeiten gleichzeitig besitzen: kognitive Intelligenz und Kontaktintelligenz. Die kognitive Intelligenz ist für das Verständnis von Anweisungen und die Planung von Schritten zuständig – das ist das, was VLA und Weltmodelle bereits tun.

Aber nur Kognition reicht nicht aus, die Kontaktinformationen im letzten Zentimeter bestimmen, ob der Roboter die Operation wirklich abschließen kann. Zum Beispiel, ob die Oberfläche des Wasserglattes glatt ist, ob eine Verformung beim Greifen eines flexiblen Objekts auftritt usw. Diese Informationen können nicht allein durch Sehen erfasst werden, sondern müssen durch taktile Rückmeldung in Echtzeit korrigiert werden.

Diese Aufgaben erfordern nicht nur die Vorhersage, was im nächsten Frame passieren wird, sondern gleichzeitig die Fähigkeit, Anweisungen zu verstehen, Schritte zu planen, physische Veränderungen vorherzusagen, Kontakte wahrzunehmen und genaue Aktionen zu generieren.

In den letzten zwei Jahren konnte der Bereich der verkörperten Intelligenz einige feste Szenarien realisieren – zum Beispiel einige präzise Operationen in der Industrie, aber es ist immer noch schwierig, die Fähigkeitsgeneralisierung bei Ansätzen wie VLA zu erreichen.

Der Vorteil des vereinheitlichten Modells für verkörperte Intelligenz liegt darin, dass der nutzbare Datenbereich weit größer ist als bei reinem VLA. Solange alle mit der Operation verbundenen Videos, Roboter-Daten verschiedener Körper und allgemeine VLA-Daten in das Trainingsframework aufgenommen werden können, wird die Generalisierungsfähigkeit des Modells für Szenarien und Objekte deutlich verbessert, wenn der Datenumfang steigt.

Aber die Schwierigkeiten sind auch offensichtlich: Es fehlt an hochwertigen nutzbaren Daten. Auch wenn die Entwicklung des Bereichs der verkörperten Intelligenz in der Vergangenheit den Umfang der Datenerfassung schnell vergrößert hat, wurden diese Daten meist für bestimmte Aufgaben erfasst und können kaum für das Training allgemeiner Aufgabenfähigkeiten wiederverwendet werden.

HU Yucheng sagt, um einen Fähigkeitssprung bei demselben Modellansatz zu erreichen, „erstens muss der Datenumfang steigen, zweitens muss das Modell in der Lage sein, riesige Datenmengen zu nutzen – nicht nur die selbst erfassten, sondern auch Video-Daten im Internetmaßstab und heterogene Daten verschiedener Körper. Die Dimensionen der Datenverarbeitung sind auch komplexer, es muss beschrieben werden, wie die gesamte Aufgabe zerlegt wird, und dies in verschiedenen Trainingsphasen verwendet werden.“

Aus diesem Grund hat LatentVerse in den wenigen Monaten seit seiner Gründung eine vollständige Kette aufgebaut, die Datenerfassung, Datenverarbeitung und Modelltraining abdeckt, dies umfasst zuerst eine selbst entwickelte Datenerfassungspipeline und das native Weltmodell für verkörperte Intelligenz, das LatentVerse derzeit trainiert.

Aus Sicht der Bereitstellung hat das native Modell für verkörperte Intelligenz auch strukturelle Vorteile.

Gegenwärtig steht die verkörperte Intelligenz allgemein vor dem Problem, dass „Demo gut aussieht, aber schwer in großem Maßstab bereitgestellt werden kann“. Der Kerngrund liegt in der unzureichenden Robustheit des Modells – Änderungen der Beleuchtung in realen Szenarien, menschliche Störungen und inkonsistente Szenarienanordnungen führen dazu, dass die Fehlerrate weit höher ist als bei Demo. „Das VLM-Expertenmodul kann menschliche Absichten erzeugen, physische Informationen verstehen und die nächste Entscheidung treffen. Das Weltmodell-Expertenmodul kann riesige Datenmengen verarbeiten, um die Robustheit gegenüber Szenarien, Objekten und Aufgaben zu verbessern, und diskreten Text in visuell reichhaltige Signale umwandeln“, sagt HU Yucheng.

Die Technik ist schwieriger als VLA, die Szenarien sind breiter als Fabriken

Die Voraussetzung für das Gelingen des nativen Modells für verkörperte Intelligenz sind Daten.

Die Wahl dieses Trainingsansatzes geht mit einem starken Anstieg der Trainingsschwierigkeiten einher: Bei der Datenverarbeitung müssen Langzeitaufgaben in mehrere Schritte zerlegt und schrittweise markiert werden, was viel komplexer ist als die Verarbeitung von Bildern oder Text; das Training muss in mehreren Phasen und mit mehreren Aufgaben gleichzeitig durchgeführt werden; der WAM-Ansatz hängt von Diffusionsmodellen ab, und zum Beispiel die Latenz der Schlussfolgerung ist ein technisches Problem, das noch nicht vollständig gelöst ist.

„Unser Team hat bereits den reinen VLA-Ansatz und den reinen Weltmodell-Ansatz entwickelt, also kennen wir die jeweiligen Einschränkungen“, sagt Gründer HU Yucheng. Ein weiteres Beispiel ist, dass ein anderer Mitbegründer von LatentVerse für die Algorithmen von geschickten Händen und die Bewegungssteuerung zuständig ist, was die Mängel auf der Steuerungsseite ausgleichen kann – nachdem die Datenkette von dem Roboter-Körper bis zu menschlichen Händen durchgängig gemacht wurde, hofft LatentVerse, einen Daten-Flywheel für Szenarien der verkörperten Intelligenz aufzubauen.

Dafür hat LatentVerse auch ein junges und kompaktes Team aufgebaut. Das Algorithmus-Team deckt die Kernalgorithmusmodule der verkörperten Intelligenz, geschickte Hände, Simulation, dreidimensionales Sehen und andere mit Robotern verbundene Teilbereiche ab.

Gegenwärtig gliedert sich die Datenstrategie von LatentVerse in drei Ebenen: Bediendaten (erfasst über VR, mit genauen Aktionsmarkierungen) werden nur für das Training des Aktions-Expertenmoduls verwendet; aus menschlichen Händen erfasste Daten (z. B. ego-zentrische) und Open-Source-Videodaten werden für das Training des Verständnis- und des Weltmodell-Expertenmoduls verwendet.

Auf der Seite der Datenerfassung setzt LatentVerse auf einen Ansatz ohne festen Roboter-Körper. Das Team entwickelt selbst einen Datenerfassungshandschuh und hat erste Kooperationen mit einigen Datenerfassungsbasen aufgebaut. „Die vorhandenen Datenerfassungshandschuhe reichen nicht aus, um unsere Anforderungen zu erfüllen“, sagt HU Yucheng. In Zukunft können tragbare Geräte es Nicht-Fachkräften ermöglichen, an der Datenerfassung teilzunehmen und diese sogar in den Alltag zu integrieren. Die Datenerfassungslösung von LatentVerse senkt die Erfassungskosten pro Stunde von der Tausend-Yuan-Stufe auf unter hundert Yuan.

Was die Fähigkeit des Modells bestimmt, sind aber vor allem die Datenqualität und die Art und Weise, wie die Daten verwendet werden.

Eine weitere Seltenheit des LatentVerse-Teams liegt darin, dass der Kern des Teams seit Anfang 2024 an dem vereinheitlichten Modellansatz arbeitet, und die meisten Arbeiten sind bahnbrechend und nicht nachahmend, sodass sie zu einem wichtigen technischen Fundament der Branche geworden sind.

Zum Beispiel ZHANG Jianke, Mitbegründer von LatentVerse, ist der Leiter mehrerer bahnbrechender Arbeiten im Bereich der verkörperten Intelligenz – von HiRT (dem schnellen-langsamen System für verkörperte Intelligenz, das von Helix von Figure weiterverwendet wird) über UP-VLA (dem ersten integrierten Modell für Generierung und Verständnis für verkörperte Intelligenz) bis zu VLM4VLA, der systematisch die inhärenten Einschränkungen von VLM als Grundmodell für verkörperte Intelligenz nachweist.

„Die Emergenz der Fähigkeiten von Modellen für verkörperte Intelligenz kann nicht einfach den Entwicklungspfad von LLM übernehmen. Bei der Förderung der Datenskalierung sollten auch die strukturierten Informationen in verschiedenen heterogenen Daten voll ausgenutzt werden, um eine einheitliche Repräsentation aufzubauen“, sagt HU Yucheng.

Nach dem Plan von LatentVerse wird das Unternehmen nach einem Quartal das erste Grundmodell für verkörperte Intelligenz mit 16B Parametern veröffentlichen, und innerhalb von ein bis eineinhalb Jahren wird es Hunderttausende Stunden an Trainingsdaten angesammelt haben.

Bei der Szenarienauswahl hofft LatentVerse, komplexere Dimensionen von Signalen wie taktile Signale in das Modell zu integrieren. Nachdem die Allgemeingültigkeit und Generalisierungsfähigkeit erreicht sind, wird es breitere Szenarien wie Industrie, Gewerbe und Haushalt abdecken.

Dies ergibt sich aus dem unterschiedlichen Verständnis des LatentVerse-Teams für Weltmodelle. Nach seiner Definition kann jedes Modell, das das nächste Token vorhersagt, als Weltmodell betrachtet werden. Der tatsächliche Unterschied zwischen den Ansätzen verschiedener Unternehmen liegt darin, wie der Zustandsraum definiert wird. „Wir glauben, dass wir ein natives Weltmodell für verkörperte Intelligenz sind, ein Weltmodell für die Robotik.“

Hinter dieser Definition verbirgt sich tatsächlich eine Beurteilung der Szenarien. Der Hauptgrund, warum verkörperte Intelligenz nur in vertikalen Szenarien eingesetzt werden kann, liegt darin, dass die Fähigkeit des „Gehirns“ nicht ausreicht. Nur wenn die Allgeme