Milliardenbudget, Millionenstunden-Datenrausch: Wie weit ist Embodied Intelligence noch von der „Out-of-the-Box“-Nutzung entfernt?

Im Jahr 2026 ist das häufigste zentrale Ziel der Embodied-Intelligence-Branche zweifellos die „Millionenstunden-Datenmenge“.

Im Januar plant Luming Robotics, im Laufe des Jahres eine UMI-Datenerfassungskapazität von über 1 Million Stunden aufzubauen; im Mai legte Lingchu Intelligence den Termin für das Erreichen von 1 Million Stunden auf Ende des Jahres fest; die Datenbasis des Pekinger Innovationszentrums für humanoide Roboter stellte ebenfalls das Ziel voran, auf die „weltweit ersten hochwertigen Daten von 1 Million Stunden“ zuzusteuern. Im Juni startete Xinghaitu gemeinsam mit Yizhuang in Peking das „Programm für überaus hochwertige Echtdaten von 1 Million Stunden“, mit dem Plan, die Millionenstunden im laufenden Jahr abzuschließen und in den kommenden drei Jahren auf zehn Millionen Stunden zuzugehen.

Die Entwicklung von ChatGPT hat das Scaling Law zu einer der zentralsten Erfahrungen der KI-Branche in den vergangenen Jahren gemacht. Mit der Zunahme der Datenmenge, der Modellparameter und der Rechenleistung steigt auch die Fähigkeit des Modells, manchmal entstehen sogar Fähigkeiten, die früher nicht vorhanden waren. Heute fallen die gleichen Erwartungen auf Roboter.

Da Sprachmodelle aus riesigen Mengen an Tokens Schreiben, Programmieren und Schlussfolgern lernen können, können Roboter auch aus riesigen Datenmengen lernen, Räume aufzuräumen, Regale zu ordnen und sogar Aufgaben anzupassen, die sie nie gelernt haben.

Obwohl die Angabe „1 Million Stunden“ keine präzise Herkunft hat und eher eine stillschweigende Übereinkunft der Embodied-Intelligence-Branche auf der nächsten Größenordnung ist, steht dahinter eine kollektive Wette auf das Scaling Law.

Ein Leiter für Embodied-Modelle bei einem großen Internetunternehmen sagte uns, dass dieser Umfang sich am Korpusumfang orientiert, den OpenAI in der GPT-3-Ära zum Training verwendet hat. Wenn 1 Million Stunden Videodaten in Tokens umgewandelt werden, da die Informationsdichte von Bildern niedriger ist als die von Sprache, neigen sie dazu, anzunehmen, dass diese Datenmenge unter Berücksichtigung der entsprechenden Abschläge ungefähr dem Umfang in der GPT-3-Ära entspricht.

Daher geht die Branche davon aus, dass Embodied Intelligence durch das Lernen aus Daten auf der Skala der „Millionenstunden-Daten“ möglicherweise Fähigkeiten entwickeln kann, die mit GPT-3/GPT-3.5 vergleichbar sind.

Können Roboter das Scaling Law großer Sprachmodelle reproduzieren? Kann die 1-Millionen-Stunden-Marke den „ChatGPT-Moment“ der Embodied-Intelligence einläuten?

In dieser Ausgabe beginnen wir mit der Zusammensetzung dieser 1 Million Stunden.

I. Roboterdaten „befreien sich“ allmählich von Robotern

Um einem Roboter das Falten von Kleidung beizubringen, ist die direkteste Methode, ihn „persönlich“ wiederholt üben zu lassen – ein Bediener steuert den Roboterarm per Fernsteuergerät, eine Kamera zeichnet die Bilder auf, die der Roboter sieht, und das System speichert gleichzeitig Aktionsanweisungen, Gelenkzustände und Ausführungsergebnisse. Nachdem eine bestimmte Menge angesammelt wurde, kann der Roboter, wenn er vor den gleichen Tisch tritt und vor ähnlichen Kleidungsstücken steht, normalerweise ein gutes Demo-Ergebnis erzielen.

Diese Art von Echtroboterdaten wird vom Zielroboter erfasst, wobei der Gelenkbereich des Roboterarms, die Greifstruktur und die Steuerungsmethode bereits in den Bewegungstrajektorien enthalten sind. Nachdem das Modell gelernt hat, kann es zur Steuerung verwendet werden, ohne viele weitere Umwandlungen durchzuführen.

Ein Leiter eines Embodied-Datenunternehmens sagte dem „Robot Research Institute“, dass unter festen Umgebungsbedingungen und bei einfachen Aufgaben Dutzende bis Hunderte von hochwertigen Demonstrationsdaten ausreichen, um eine gute Strategie zu trainieren. Diese Art von Daten kann jedoch oft nur einen sehr engen Aufgabenbereich abdecken.

Im Labor lernt der Roboter möglicherweise nur eine Art von Kleidung zu falten. Wenn er in eine häusliche Umgebung wechselt, muss er mit Kleidung unterschiedlicher Materialien und Formen umgehen. Sobald sich Umgebung und Aufgabe ändern, steigt die benötigte Datenmenge schnell an.

Echtroboterdaten lassen sich nur schwer in kurzer Zeit in großen Mengen gewinnen. Als Google 2022 RT-1 veröffentlichte, wurden 13 Roboter 17 Monate lang kontinuierlich zur Erfassung eingesetzt, um mehr als 130.000 Demonstrationen anzusammeln, die über 700 Aufgaben abdecken. Das war zu dieser Zeit bereits eine seltene Größenordnung.

Laut den Erkenntnissen des „Robot Research Institute“ liegt der aktuelle Preis für die Erfassung von Echtroboterdaten auf dem Markt bei etwa 1000 Yuan pro Stunde.

Arbeitskosten, Erfassungseffizienz und Schulungsbedarf sind Gründe, warum die Kosten nur schwer zu senken sind. Nachdem der Roboter eine Aufgabe abgeschlossen hat, müssen alle Gegenstände wieder an ihren ursprünglichen Platz zurückgestellt werden, bevor die nächste Runde der Operation beginnen kann. Während des Erfassungsprozesses treten zudem Kalibrierungsabweichungen, Geräteausfälle, Hardwareverschleiß und ungültige Daten auf.

Ein weiteres Problem ist die starke Abhängigkeit von der Hardware. Die Erfahrungen, die ein zweiarmliger Roboter angesammelt hat, sind nicht unbedingt auf einen einarmigen Roboter übertragbar; wenn sich die Position von Roboterarm, Greifer oder Kamera ändert, müssen die ursprünglichen Daten ebenfalls neu angepasst werden.

Im Jahr 2023 begann das von Google DeepMind angeführte Projekt Open X-Embodiment, Roboterdaten verschiedener Labore zusammenzuführen. 34 Labore weltweit haben 60 Datensätze beigesteuert, darunter 22 Roboterplattformen und über 1 Million echte Trajektorien. Experimente zeigten, dass das Modell nach der Aufnahme der Erfahrungen anderer Roboter seine Fähigkeiten zur Übertragung und Generalisierung auf mehreren Plattformen verbessert hat.

Aber diese Daten können nicht direkt zur Steuerung eines neuen Roboters verwendet werden. Die Armlänge, die Anzahl der Gelenke, die Greifstruktur und die Steuerungsmethode verschiedener Roboter unterscheiden sich nach wie vor. Open X-Embodiment hat den Umfang der Erfahrungen erweitert, auf die das Modell zurückgreifen kann, ohne die Daten verschiedener Plattformen vollständig allgemeingültig zu machen.

Im Jahr 2024 entstand eine neue Erfassungsmethode: das Universal Manipulation Interface, kurz „UMI“.

Am Erfassungsort wird nicht mehr der gesamte Roboter benötigt. Der Bediener muss nur einen Greifer mit Kamera und Positionsverfolgungsfunktion halten, um in Haushalten, Restaurants oder Fabriken Wasser einzuschenken, Kleidung zu falten und Geschirr zu reinigen. Das System zeichnet die Bilder auf und speichert gleichzeitig die Bewegungstrajektorie und den Öffnungs-/Schließzustand des Greifers, bevor diese Demonstrationen in Daten umgewandelt werden, die der Roboter lernen kann.

Bei der Aufgabe, Becher anzuordnen, kann das UMI-Team 111 Demonstrationen pro Stunde abschließen, verglichen mit nur 35 Demonstrationen bei der Verwendung ferngesteuerter Roboter. Die Erfasser können das Gerät auch zwischen verschiedenen Räumen transportieren, ohne den Roboter bei jedem Szenenwechsel neu transportieren und debuggen zu müssen.

Neben der Erfassungseffizienz sind die Erfassungskosten für UMI-Daten ebenfalls stark gesunken.

Wenn Geräte, Datenverarbeitung und Annotation vollständig eingerechnet werden, betragen die Kosten für UMI-Daten nur 400 bis 650 Yuan pro Stunde. Sie zeichnen vollständigere Informationen auf als gewöhnliche Videos und belegen nicht ständig den gesamten Roboter, sodass sie schnell zu einer wichtigen Methode für Embodied-Intelligence-Unternehmen wurden, um ihre Datenmenge zu erweitern.

Dennoch benötigt UMI immer noch ein spezielles Greifgerät. Parallelgreifer machen menschliche Demonstrationen dem Aktionsraum des Roboters näher, beschränken aber gleichzeitig die erfassbaren Aktionen. Menschen können ihre Handgelenke flexibel drehen, ihre Greifweise ändern und feine Operationen ausführen, die nicht alle von einem Greifer reproduziert werden können.

Im Oktober 2024 veröffentlichten Einrichtungen wie das Georgia Institute of Technology EgoMimic, das das Erfassungsgerät weiter auf die Project Aria-Brille vereinfacht. Der Erfasser ordnet Gegenstände mit beiden Händen, greift Spielzeuge oder erledigt Haushaltsarbeiten wie gewohnt, und das System extrahiert dann die Bewegungstrajektorie der Hände aus den Ego-Perspektiv-Bildern und trainiert menschliche Demonstrationen zusammen mit Roboterdaten.

Die Erfassungsschwelle für Ego-Perspektiv-Daten ist niedriger. Menschliche Bewegungen sind viel schneller als Roboterbewegungen, und es ist nicht erforderlich, mechanische Geräte häufig zu debuggen. Haushalte, Büros und Geschäfte können zu Erfassungsorten werden. In derselben Stunde kann das Modell mehr Operationen sehen und mit mehr Objekten und Umgebungsänderungen in Kontakt kommen.

Aber diese Videos sind auch weiter von der tatsächlichen Steuerungskette des Roboters entfernt. Sie können aufzeichnen, was der Mensch sieht und wie sich seine Hände bewegen, liefern aber nicht direkt die Gelenkanweisungen des Roboterarms, den Greifzustand und Kontaktinformationen. Daher trainiert EgoMimic normalerweise menschliche Demonstrationen zusammen mit Echtroboterdaten und verkleinert den Abstand zwischen beiden durch domänenübergreifende Ausrichtung. Die Kosten für diese Art von Daten können auf etwa 300 Yuan pro Stunde sinken.

An diesem Punkt umfassen Roboter-Trainingsdaten nicht mehr nur Trajektorien von echten Robotern. Sie umfassen sowohl Aktionen, die der Zielroboter persönlich ausgeführt hat, als auch Erfahrungen, die andere Roboter angesammelt haben, Demonstrationen, die Menschen mit einem Greifer durchgeführt haben, und Handbewegungen, die aus Ego-Perspektiv-Videos extrahiert wurden. Verschiedene Daten vermitteln dem Modell unterschiedliche Inhalte. Einige sind näher an der untersten Steuerungsebene, andere eignen sich besser zur Ergänzung von Aufgabenwissen und Umgebungsänderungen.

Das im Oktober 2024 veröffentlichte π0 fügt diese Daten unterschiedlicher Herkunft in denselben Rahmen des Basismodells ein. Physical Intelligence verwendete im Training Daten, die von 8 Arten von Robotern erfasst wurden, und führte zudem den Open X-Embodiment-Datensatz ein. Ausgehend von einem visuellen Sprachmodell, das bereits mit Bildern und Texten aus dem Internet trainiert wurde, hat das Modell vor dem Erlernen von Steuerungsaktionen bereits ein gewisses Verständnis für Objekte, Sprache und die reale Welt erlangt.

Im Februar 2025 öffnete π0 weiter den Quellcode und die Modellgewichte. Embodied-Unternehmen und Forschungsteams können direkt mit einem allgemeinen Modell beginnen und dann die Feinabstimmung mit ihren eigenen Roboterdaten abschließen. Physical Intelligence gab bekannt, dass in einigen internen Experimenten einige Aufgaben nur 1 bis 20 Stunden an Daten der Zielplattform benötigen, um die Anpassung abzuschließen.

Daher gilt: Wenn Sie heute sehen, dass ein Roboterunternehmen den Besitz von „1 Million Stunden Daten“ ankündigt, müssen Sie zuerst klären, woher diese Daten stammen.

Sie können vom Ziel-Echtroboter erfasst worden sein, aber auch von anderen Robotern, UMI-Geräten oder menschlichen Ego-Perspektiv-Videos. Daten unterschiedlicher Herkunft haben unterschiedliche Erfassungskosten, enthalten unterschiedliche Informationen und wirken sich unterschiedlich auf das Modell aus.

Wenn nur eine Gesamtmenge angegeben wird, ist es schwer zu beurteilen, wie viele Fähigkeiten das Modell daraus gezogen hat. Man muss wissen, aus welchen Daten diese 1 Million Stunden bestehen, welche Rolle die verschiedenen Datentypen jeweils übernehmen und wie viele Daten des Ziel-Echtroboters letztendlich verwendet wurden, um die vom Modell erlernten Erfahrungen in Aktionen umzuwandeln, die ein bestimmter Roboter ausführen kann.

II. Was kann man mit einem Datenbudget im Milliardenbereich erreichen?

Nach früheren Kostenberechnungen betragen die Kosten bis zu 1 Milliarde Yuan, wenn alle 1 Million Stunden mit annotierten Echtroboterdaten erfasst werden; bei vollständiger Verwendung von UMI-Daten im gesamten Prozess liegen die Kosten bei etwa 400 bis 650 Millionen Yuan; bei ausschließlicher Verwendung von Ego-Daten betragen die Kosten nur 300 Millionen Yuan.

Der große Kostenunterschied ist im Wesentlichen eine Wahl zwischen verschiedenen Datenpfaden: Setzt man auf teurere Echtroboterdaten, die der echten Steuerung näher sind, oder vertraut man auf Ego-Daten mit größerem Umfang und breiterer Abdeckung. Das ist fast ein Problem, dem sich jedes Roboterunternehmen beim Training seines Basismodells stellen muss.

Beim tatsächlichen Modelltraining wird normalerweise nicht nur eine Art von Daten verwendet. Ego- und UMI-Daten können kostengünstig mehr Szenarien abdecken, während Echtroboterdaten der endgültigen Steuerung näher sind. Wie das Budget verteilt wird, hängt davon ab, in welcher Phase des Trainings diese Daten eingesetzt werden und welche Fähigkeiten dem Modell zu diesem Zeitpunkt fehlen.

Xiaomi-Robotics-1, das im Juli 2026 veröffentlicht wurde, unterteilt das Training in zwei Phasen: Vortraining und Nachtraining.

Für das Vortraining wurden 100.000 Stunden UMI-Trajektorien verwendet, die mehr als 1700 echte Szenarien in Haushalten, Gewerbe, Industrie und im Freien abdecken. Xiaomi schnitt diese Trajektorien zuerst in Segmente, dann beschrieb ein visuelles Sprachmodell automatisch die Zustandsänderungen zwischen Greifer und Objekten, sodass das Modell daraus umfassendere Fähigkeiten zur Aktionsgenerierung lernen konnte.

Die im Nachtraining verwendeten Daten umfassen mehr als 7200 Stunden Echtroboterdaten, gefilterte Open-Source-Roboterdaten und einen Teil hochwertiger UMI-Daten.

Die selbst erfassten Daten stammen aus echten Haushalten und decken Aufgaben wie das Ordnen von Sofas, das Aufräumen von Schuhschränken und das Einräumen von Küchenutensilien ab. In dieser Phase müssen die im Vortraining erlernten Fähigkeiten auf den echten Roboter ausgerichtet werden, und das Modell soll von der Beschreibung von Zustandsänderungen von Objekten zum Verstehen natürlicher Sprachbefehle und deren direkter Ausführung übergehen.

Daher lassen sich