Figure hat 30 Wohnungen angemietet und lässt Roboter von Haus zu Haus die Haushaltsaufgaben prüfen.

Am 17. September Ortszeit veröffentlichte das humanoide Roboterunternehmen Figure das neuronale Netzmodell Helix 2.5 und gab eine Reihe von Ergebnissen von Zero-Shot-Ganzkörper-Autonomieexperimenten bekannt: Ohne jegliche Erfassung neuer Daten und Umgebungsanpassung stieg die Zero-Shot-Erfolgsrate des Roboters sprunghaft von 9 % auf 56 % an.

Brett Adcock, Gründer und CEO von Figure, erklärte, dass das Unternehmen 30 Wohnhäuser in der San Francisco Bay Area gemietet habe, damit Helix 2.5 Aufgaben direkt ausführen kann, ohne neue Daten zu erfassen, zusätzliches Training durchzuführen oder Umgebungsanpassungen vorzunehmen. Figure möchte die Frage beantworten: Können Roboter in nie gesehene Haushalte eintreten und direkt mit Hausarbeiten beginnen?

Der offizielle Blog bezeichnet Helix 2.5 als das fortschrittlichste neuronale Netz, das Figure bisher entwickelt hat. Es soll überprüfen, ob humanoide Roboter langfristige Aufgaben in nicht feinabgestimmten Umgebungen autonom nur mit vorhandenen Kenntnissen erledigen können.

Menschen können in fremde Häuser eintreten und sofort mit der Arbeit beginnen, weil ihr Verständnis der physischen Welt die Fähigkeit zur umgebungsübergreifenden Übertragung hat, ohne dass sie aufgrund von Veränderungen der Betthöhe oder der Möbelanordnung neu lernen müssen. Herkömmliche Roboter sind in der Regel darauf angewiesen, Daten in bestimmten Umgebungen zu erfassen und gezieltes Training durchzuführen. Figure möchte dieses Paradigma durchbrechen: Zuerst lassen die Roboter aus der umfangreichen Erfahrung menschlichen Verhaltens lernen, dann übertragen sie ihre allgemeinen Fähigkeiten direkt auf fremde reale Umgebungen.

01 30 Wohnungen mieten, keine Datenerfassung, direkt arbeiten

In der offiziellen Demonstration betritt der humanoide Roboter Figure 03 ein völlig fremdes Haus und erledigt nacheinander drei langfristige Ganzkörperaufgaben: das Wohnzimmer aufräumen, das Bett machen und Handtücher falten.

Helix 2.5 erledigt in echten Haushalten drei Ganzkörper-Bewegungs- und Manipulationsaufgaben: Wohnzimmer aufräumen, durch enge Räume gehen um das Bett zu machen und Handtücher falten

Beim Aufräumen des Wohnzimmers hebt der Roboter die überall verstreuten Spielzeuge nacheinander auf und legt sie in einen Korb. Adcock betonte in den zugehörigen Videos und Beiträgen, dass der Roboter diese Räume zuvor nie betreten habe und das Unternehmen keine Daten für diese neuen Umgebungen erfasst habe. Der Roboter muss sich gleichzeitig bewegen, Zielobjekte suchen, seine Körperhaltung anpassen und dann das Greifen und Ablegen abschließen.

Die Aufgabe, das Bett zu machen, ist schwieriger. Der Roboter hat diesen Raum nie betreten, dieses Bett nie gesehen und diese Bettwäsche nie gesehen. Er muss das Kissen greifen, die Decke ziehen, die zugehörigen Objekte an die vorgesehene Position bewegen und die Decke glatt ziehen. Das Falten von Handtüchern wird von Figure verwendet, um die Fähigkeit zur Manipulation verformbarer Objekte zu testen: Der Roboter muss ein nie zuvor gesehenes Handtuch greifen, es falten und dann in den Korb legen.

Diese drei Aufgaben kombinieren aktive Wahrnehmung, Bewegung und Manipulation in verschiedenen fremden Haushalten

Figure erklärte, dass Helix 2.5 das fortschrittlichste neuronale Netz ist, das das Unternehmen je gebaut hat. Ein auf Index vortrainiertes Grundmodell wird für drei verschiedene Aufgaben verwendet, die Bewegung, Manipulation starrer und verformbarer Objekte, Koordination beider Hände sowie aktive Wahrnehmung abdecken.

Diese Aufgaben wurden ausgewählt, weil sie die gleichzeitige Lösung mehrerer klassischer Roboterprobleme erfordern: Wahrnehmung, Bewegung, Manipulation, Koordination beider Hände und Ganzkörpersteuerung, und dies muss in Echtzeit erfolgen. Die meisten Studien zur Generalisierung von Robotern werden in Umgebungen durchgeführt, die um die Roboter herum gebaut sind, z. B. sind Tischroboter auf einen festen Arbeitsbereich beschränkt, und Radroboter benötigen ausreichend offenen Boden für die Bewegung und Lenkung des Fahrgestells. Die häusliche Umgebung passt sich jedoch nicht den Robotern an. Humanoide Roboter müssen ihren eigenen Körper zu einem Teil der Aufgabe machen und sich in engen, unordentlichen Räumen bewegen, beobachten, nach Objekten greifen und sie manipulieren.

Es gibt hier ein Konzept, das besonders erläutert werden muss: Das von Figure genannte "Zero-Shot" bezieht sich hauptsächlich auf die Bewertungsumgebungen und die zu manipulierenden Objekte. Für die 30 bewerteten Wohnhäuser wurden zuvor keine Daten erfasst, und die für die Bewertung verwendeten Spielzeuge, Handtücher und Bettwäsche sind auch nicht in den aufgabenspezifischen Daten enthalten. Der Roboter erledigt die Aufgaben direkt mit den Sofas, Betten und Handtüchern zum Falten in jedem fremden Haushalt.

Mit anderen Worten: Helix 2.5 wurde nicht völlig ohne Training für die Aufgaben "Wohnzimmer aufräumen, Bett machen, Handtücher falten" trainiert. Die drei Verhaltensweisen selbst wurden anhand von aufgabenspezifischen Daten angepasst, die in anderen Umgebungen erfasst wurden. Was Figure wirklich überprüfen möchte, ist: Können diese erlernten Verhaltensweisen direkt auf nie gesehene Wohnhäuser und Objekte generalisiert werden, ohne dass vor Ort neu trainiert werden muss?

Die Bewertungskriterien sind extrem streng: Beim Aufräumen des Wohnzimmers müssen alle 13 bis 15 Spielzeuge vollständig eingesammelt werden, beim Falten der Handtücher müssen diese vollständig gefaltet und in den Korb gelegt werden, und beim Bettmachen müssen Kissen und Deckenwinkel in das obere Drittel des Bettes gezogen und glatt gestrichen werden. Die Aufgabe erfordert einen vollständigen end-to-end-Erfolg, es werden keine Teilpunkte vergeben; für jede Aufgabe wird derselbe feste Modellknoten (Testversion) verwendet, und die Modellparameter werden nicht für neue Umgebungen angepasst; sobald ein menschlicher Sicherheitseingriff stattfindet, wird die Aufgabe direkt als fehlgeschlagen gewertet.

Beispiel für das Zurücksetzen der Szene auf unkontrollierte Anfangsbedingungen für die Zero-Shot-Bewertung

Figure erklärte, dass es Helix 2.5 in 30 Wohnhäuser in der Bay Area eingesetzt hat, die zuvor nie betreten wurden. Vor Beginn jedes Experiments werden die Bewertungsobjekte im Voraus platziert, und ein KI-Modell bestätigt zusammen mit menschlicher Prüfung, dass diese Objekte nicht in den aufgabenspezifischen Daten enthalten sind. Für jedes Experiment wird eine unabhängige Anfangskonfiguration verwendet, und für alle bewerteten Strategien gelten dieselben Rücksetzbedingungen, um einen fairen Vergleich zu gewährleisten.

Auf experimenteller Ebene lautet die Schlüsseldaten des offiziellen Blogs: Die Zero-Shot-Erfolgsrate stieg von 9 % auf 56 %, also auf mehr als das Sechsfache des ursprünglichen Werts. Das hier genannte "Erfolg" bezieht sich auf den vollständigen Erfolg der gesamten Aufgabe, nicht auf die Erledigung eines Teils davon.

02 Index-Vortraining: Menschliche Erfahrung ist der "Durchbruch" für Roboter

Der Schlüssel von Helix 2.5 liegt nicht nur im Modell, sondern im dahinter stehenden Index.

Die Logik von Figure ist einfach: Ein wichtiger Grund, warum große Sprachmodelle ihre Fähigkeiten ständig erweitern können, ist die riesige Menge menschlicher Daten im Internet, die es dem Vortraining ermöglichen, mit der Erweiterung des Daten- und Rechenkapazitätsumfangs ständig Gewinne zu erzielen. Roboter verfügen jedoch nicht über verhaltensbezogene Daten im Internet-Maßstab. Daher versucht Figure, einen umfangreichen Datensatz menschlichen Verhaltens namens Index aufzubauen, damit die Roboter zuerst aus der Erfahrung lernen, wie Menschen in der realen Welt handeln, Objekte greifen und manipulieren.

In der vorherigen Vorstellung von Index positioniert Figure es als einen globalen Datensatz menschlichen Verhaltens. Helix 2.5 überprüft nun weiter: Können diese menschlichen Erfahrungen in echte Verhaltensfähigkeiten von Robotern umgewandelt werden?

Figure erklärte, dass Index derzeit etwa 35 Minuten neue menschliche Erfahrungsdaten pro Sekunde erzeugen kann. Gleichzeitig hat das Unternehmen zugesagt, 3,5 Milliarden US-Dollar an Rechenkapazität für das Training von Helix zu investieren.

Die entscheidendste Frage lautet: Können diese menschlichen Erfahrungen wirklich in Roboter-Verhaltensweisen umgewandelt werden?

Figure führte eine Reihe von Kontrollexperimenten durch: Zwei Modelle verwenden völlig identische aufgabenspezifische Daten, Architektur, Optimierungsmethode, Hyperparameter, nachgelagerte Daten und Bewertungsmethode sind alle konsistent. Die einzige Variable ist, ob das Index-Vortraining durchgeführt wird.

Das Experiment verglich zwei Modelle: Eines ist ein Basismodell mit zufällig von Grund auf initialisierten Gewichten, das andere ist das Helix 2.5-Modell, das zuvor mit den umfangreichen Daten von Index vortrainiert wurde. Helix 2.5 selbst beginnt vollständig mit zufälligen Gewichten und schließt das Vortraining nur mit Index-Daten ab, was sich stark von der vorherigen Generation Helix 02 unterscheidet. Helix 02 wurde ursprünglich auf der Grundlage fertiger vortrainierter visueller Sprachmodelle initialisiert.

Vergleich der Zero-Shot-Erfolgsraten in 30 Haushalten (Modell, das von Grund auf trainiert wurde vs. Modell, das auf Index basierend vortrainiert wurde)

Das Ergebnis ist sehr deutlich. Die Strategie ohne Index-Vortraining hat eine Zero-Shot-Erfolgsrate von nur 9 %; nach dem Hinzufügen des Index-Vortrainings erreicht die Erfolgsrate 56 %, also mehr als das Sechsfache des vorherigen Werts. Da das Vortraining die einzige experimentelle Variable ist, ist Figure der Ansicht, dass dieser Unterschied direkt den Beitrag des Index-Vortrainings zur Zero-Shot-Fähigkeit messen kann.

Außerdem wurden die Trainingsdaten von Index nicht speziell für diese drei Testaufgaben erstellt. Figure erklärte, dass keine der Bewertungsaufgaben mehr als 1,90 % der Index-Vortrainingsdaten ausmacht. Das bedeutet, dass die vom Modell erworbenen Vortraining-Erfahrungen nicht einfach darin bestehen, "immer wieder zu lernen, wie man Handtücher faltet, Betten macht und Spielzeuge einsammelt", sondern zu versuchen, aus einem breiteren Spektrum menschlichen Verhaltens übertragbare Fähigkeiten zu bilden.

Vergleich von Helix 2.5 mit Helix 02, das dieselben Aufgaben ausführt

Auch die Dateneffizienz hat sich verändert. Figure verglich Helix 2.5 mit einer Helix 02-Strategie, die dieselben Aufgaben ausführt: Letztere verwendet Daten, die direkt in der tatsächlichen Bewertungsumgebung erfasst wurden, während Helix 2.5 bei Erreichen einer vergleichbaren Erfolgsrate nur die Hälfte der Anpassungsdaten benötigt und das Verhalten weiter auf 30 nie zuvor gesehene Wohnhäuser generalisiert.

Figure fasst dieses Ergebnis daher zusammen: Die Kosten für die Verhaltensspezifikation werden um das Zweifache reduziert, während der Einsatzbereich um das 30-fache erweitert wird.

Eine weitere bemerkenswerte Veränderung ist die Fähigkeit von Helix 2.5 zur Ganzkörper-Selbstkorrektur. Bei langfristigen Aufgaben kann der Roboter nicht jeden Schritt auf einmal abschließen. Wenn beim Greifen oder Falten Abweichungen auftreten, kann er sich zurückziehen, um neu zu positionieren, seine Haltung ändern oder sogar auf die andere Seite des Bettes gehen, um die Aufgabe abzuschließen. Figure betrachtet diese Fähigkeit, nach einem Fehler wiederherzustellen und fortzufahren, als einen der wichtigen Effekte, die durch das Index-Vortraining entstehen.

Aus langfristiger Sicht hat Figure auch ein "Skalierungsgesetz der Übertragung von Menschen zu humanoiden Robotern" berichtet. Das Team trainierte vier Modelle auf verschachtelten Teilmengen von Index, wobei der Umfang der Vortrainingsdaten schrittweise erweitert wurde und die maximale Spanne das 8-fache erreichte, während das Modellvolumen und das nachgelagerte Training unverändert blieben. Die experimentellen Ergebnisse zeigen, dass bei jeder Verdoppelung der Index-Datenmenge der Verlustwert (Loss) der Vorhersage des nächsten Schritts durch den nachgelagerten Roboter einen glatten und vorhersehbaren Abwärtstrend aufweist.

Diagramm des Skalierungsgesetzes der Übertragung von Menschen zu humanoiden Robotern

Noch wichtiger ist, dass dieser Abwärtstrend eine sehr hohe Vorhersehbarkeit aufweist. Figure erklärte, dass allein die Testergebnisse, die mit kleinen Datenmengen erzielt werden, den Testverlustwert des Modells mit dem größten Umfang genau bis auf vier Nachkommastellen vorhersagen können, bevor das Training startet, wobei der Vorhersagefehler nur 0,54 % des gesamten 8-fachen Datenmengenänderungsbereichs beträgt.

Figure behauptet, dass dies das erste Mal ist, dass das "Skalierungsgesetz der Übertragung von Menschen zu Robotern" an einem humanoiden Roboter gemessen wurde. Das bedeutet, dass ein Gedanke, der bisher hauptsächlich im Bereich der großen Sprachmodel