Allgemeine Roboter stehen vor einer „Everest-Prüfung“: Die Menschheit hat den Gipfel mit voller Punktzahl erreicht, während die stärkste KI noch am Fuße des Berges steht

Im Zeitalter der verkörperten Intelligenz: Wie weit ist die Strategie für allgemeine Roboter noch vom „Gipfel“ entfernt? Die vorhandenen Benchmarks können diese Frage noch kaum beantworten.

Viele Benchmarks hängen von einfachen, kurzen oder auf wenige Fähigkeiten beschränkten Aufgaben ab. Simulationsbasierte Bewertungen sind effizient und leicht skalierbar, können aber die tatsächliche Eignung für den physischen Einsatz kaum widerspiegeln. Bewertungen in der realen Welt kommen dem praktischen Einsatz näher, sind aber kostspielig, zeitaufwendig und schwer zu reproduzieren.

Um dieses Problem zu lösen, hat ein gemeinsames Forschungsteam der Universität Hongkong, der University of California, Berkeley, der Tsinghua-Universität, der Peking-Universität und anderer Einheiten einen einheitlichen Bewertungsbenchmark namens RoboDojo vorgeschlagen, der sich an Simulation und reale Welt richtet und vielfältige, lang andauernde, hochpräzise, gedächtnisabhängige und offene Manipulationsszenarien abdeckt.

Link zum Papier: https://arxiv.org/abs/2607.04434

Die experimentellen Ergebnisse zeigen, dass die vorhandenen allgemeinen Roboter-Manipulationsstrategien noch keineswegs zuverlässig sind: Selbst die aktuellen SOTA-Modelle können die komplexen Aufgaben in RoboDojo kaum stabil bewältigen, und ihre Erfolgsrate beim Einsatz in der realen Welt beträgt nur 12,8 % – weit unter der vollen Punktzahl der menschlichen Teleoperation.

Auf Basis dieser Ergebnisse hat das Forschungsteam eine öffentliche Rangliste erstellt, die die Einschränkungen aktueller Strategien in Simulation und realer Welt systematisch analysiert und die Schlüsselrichtungen für zukünftige allgemeine Manipulationsstrategien vorschlägt.

Abbildung | Überblick über RoboDojo.

RoboDojo: Ein einheitlicher Bewertungsbenchmark für Roboter

Im Großen und Ganzen definiert RoboDojo den Simulationsbenchmark anhand von fünf Kernfähigkeiten der Manipulation. Die Erstellung von Aufgaben, Strategietraining, Einsatz und Bewertung werden gemeinsam von der Simulationsplattform für Bewertungen, der Plattform für Bewertungen in der realen Welt und XPolicyLab abgeschlossen.

Abbildung | Überblick über die Aufgaben von RoboDojo.

Der Simulationsbenchmark deckt fünf Kernfähigkeiten der Manipulation ab: Generalisierung, Gedächtnis, lang andauernde Ausführung, feine Steuerung und Verständnis offener Anweisungen. Anhand von 42 Aufgaben werden die Schwächen von Strategien in verschiedenen Manipulationsfähigkeiten systematisch diagnostiziert.

• Generalisierungsaufgaben testen die Anpassungsfähigkeit der Strategie an unbekannte Hintergründe, Beleuchtungen, Ziele und Störgegenstände;
• Gedächtnisaufgaben prüfen die Nutzung historischer Informationen;
• Lang andauernde Aufgaben bewerten die Fähigkeit der Strategie, mehrstufige Manipulationssequenzen abzuschließen;
• Aufgaben zur feinen Steuerung konzentrieren sich auf hochpräzise Kontaktmanipulationen wie das Einfügen in enge Öffnungen;
• Offene Aufgaben testen, ob die Strategie gelernte Fähigkeiten auf unbekannte sprachliche Anweisungen und neue Ziele übertragen kann.

Hinsichtlich der Systemstruktur besteht RoboDojo aus drei Teilen: der Simulationsplattform für Bewertungen, der Plattform für Bewertungen in der realen Welt und XPolicyLab, wie im Folgenden erläutert:

Simulationsplattform: Verantwortlich für Aufgabenerstellung, Asset-Generierung, parallele Bewertung und Datenerfassung. Aufgaben und Szenarien werden über Konfigurationsdateien definiert, verschiedene Objekte werden als digitale Zwillings-Assets erstellt. Bei der Bewertung kann die Plattform mehrere Szenarien parallel ausführen, um die Effizienz zu steigern. Bei der Datenerfassung können Trajektorien für einfache Aufgaben automatisch generiert werden, während komplexe Aufgaben per VR-Teleoperation hochwertige Demonstrationen liefern.

Abbildung | Vielfalt der Fähigkeiten in RoboDojo.

Bewertung in der realen Welt: Der Fokus liegt auf Reproduzierbarkeit. Durch einheitliche Hardware, Arbeitsbereiche, Beleuchtung, Szenarienzurücksetzung und Bewertungsprotokolle werden zufällige Faktoren in Experimenten mit realen Robotern reduziert. RoboDojo-RealEval nutzt eine Touchscreen-Oberfläche und einen Layout-Überlagerungsmechanismus, um den Prozess der Aufgabenzurücksetzung und -ausführung zu standardisieren.

Abbildung | Highlights der Aufgaben in der realen Welt.

XPolicyLab: Einheitlicher Prozess für Strategieentwicklung, Training, Bewertung und Einsatz. Durch standardisierte Datenumwandlung, Trainingsvorlagen, Einsatzprozesse und Observation-Action-Schnittstellen werden die Kosten für die Integration von Strategien gesenkt.

Darüber hinaus hat RoboDojo zwei Ranglisten für Simulation und reale Welt eingerichtet: Die Simulationsrangliste führt wiederholte Bewertungen rund um die fünf Fähigkeiten durch und nutzt erfahrene VR-Teleoperatoren als menschliche Referenz. Die Rangliste für die reale Welt basiert auf RoboDojo-RealEval und bewertet 10 repräsentative Strategien auf 3 Roboterplattformen und 18 Aufgaben mit einheitlichen Protokollen für Zurücksetzung, Einsatz und Bewertung.

Abbildung | Überblick über das RoboDojo-RealEval-System.

Wie lauten die Bewertungsergebnisse von RoboDojo?

Das Forschungsteam stellte fest, dass die vorhandenen allgemeinen Roboter-Manipulationsstrategien insgesamt noch unzuverlässig sind: Selbst die aktuell führenden Modelle weisen einen erheblichen Abstand zu menschlichen Experten auf, und die Vorteile in der Simulation lassen sich nicht unbedingt auf den realen Einsatz übertragen. Dennoch zeichnet sich RoboDojo durch gute Bewertungseffizienz und Reproduzierbarkeit aus. Die spezifischen Ergebnisse lauten wie folgt:

1. Simulationsergebnisse

Aktuell führende Strategien liegen noch weit unter dem menschlichen Niveau: Zu den aktuell führenden Modellen gehören Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA usw. Die beste Strategie erreicht jedoch nur eine durchschnittliche Erfolgsrate von 8,80 % und eine durchschnittliche Punktzahl von 13,07 – weit unter den 76,03 % und 80,42 Punkten der menschlichen Experten. Dies zeigt, dass die vorhandenen Strategien noch einen großen Abstand zur stabilen Bewältigung von Aufgaben haben.

Abbildung | Rangliste des RoboDojo-Simulationsbenchmarks.

Die Fähigkeiten verschiedener Modelle entwickeln sich ungleichmäßig: Spatial Forcing ist besser in Generalisierung, X-VLA führt bei feinen Manipulationen, π0.5 ist bei offenen Aufgaben relativ stärker, und Hy-Embodied-0.5-VLA zeigt die beste Leistung bei lang andauernder Ausführung, Gedächtnis und Gesamtleistung. Diese Vorteile sind jedoch meist auf eine einzelne Dimension beschränkt und können den vollständigen Aufgabensatz kaum abdecken. Selbst bei den gut abschneidenden Dimensionen Generalisierung und lang andauernde Ausführung liegt die beste Erfolgsrate unter 15 %. Feine Steuerung, Gedächtnis und Verständnis offener Anweisungen bleiben Schwachstellen.

Hinsichtlich Generalisierung schwächt die Szenarienrandomisierung die Strategieleistung erheblich: Hy-Embodied-0.5-VLA führt in Standardszenarien, seine Leistung sinkt aber nach Randomisierung um 92,9 %. Spatial Forcing ist in zufälligen Szenarien relativ stabiler, aber die absolute Leistung bleibt niedrig. Aktuelle Strategien sind sehr empfindlich gegenüber Veränderungen der visuellen und räumlichen Verteilung. Für eine zuverlässige Generalisierung sind stabilere Steuerung, Closed-Loop-Korrektur und Fähigkeiten zur Fehlerwiederherstellung erforderlich.

Abbildung | Strategieleistung unter standardisierten und randomisierten visuellen Einstellungen.

Hinsichtlich lang andauernder Ausführung: Die Verbesserungen durch Aktionsprior, verkörpertes Vortraining und räumliches Grounding sind noch begrenzt. Die Erfolgsraten von Hy-Embodied-0.5-VLA, π0.5 und Spatial Forcing liegen nahe bei 15 %, was zeigt, dass Modelle einige mehrstufige Aufgaben vorantreiben können. Die beste Erfolgsrate liegt aber immer noch unter 15 %, und die Punktzahlen sind höher als die Erfolgsraten. Modelle schaffen oft die ersten Schritte, können aber die endgültigen Ziele kaum stabil erreichen. Fähigkeitskombination, phasenweise Entscheidungsfindung und Fehlerwiederherstellung bleiben unzureichend.

Hinsichtlich feiner Steuerung: X-VLA zeigt die beste Leistung mit einer Erfolgsrate von 12,00 % und einer Punktzahl von 18,32, erreicht aber noch keineswegs ein zuverlässiges Niveau. Obwohl Hy-Embodied-0.5-VLA insgesamt am besten abschneidet, liegt es in dieser Dimension hinter X-VLA und Spatial Forcing zurück. Dies zeigt, dass die Gesamtleistung nicht direkt in lokale feine Steuerung umgesetzt werden kann. 3D-Lokalisierung, glatte Aktionsvorhersage und Closed-Loop-Kontaktsteuerung bleiben Schwachstellen.

Hinsichtlich Gedächtnis: Aktuelle Strategien können historische Informationen kaum effektiv nutzen, um nachfolgende Manipulationen durchzuführen. Hy-Embodied-0.5-VLA zeigt die beste Leistung; verkörpertes Vortraining und Aktionsprior helfen bei der Nutzung historischer Informationen. Aber weder das explizite Gedächtnisdesign von EventVLA noch das implizite zeitliche Gedächtnis von X-WAM führen zu stabilem Erfolg. Dies deutet darauf hin, dass Gedächtnisfähigkeit noch kaum in zuverlässige Steuerung umgesetzt werden kann.

Hinsichtlich offener semantischer Manipulation: Aktuelle Strategien können offene Anweisungen und neue Ziele kaum bewältigen. Selbst bei dem am besten abschneidenden π0.5 beträgt die Erfolgsrate nur 1,67 % und die Punktzahl 1,98. Starke Visuell-Sprach-Backbones können Wahrnehmung und Sprachverständnis verbessern, aber sie können offene Anweisungen, visuelle Affordanzen und ausführbare Aktionen noch nicht stabil ausrichten. Die Umwandlung von semantischen Zielen in Roboteraktionen bleibt eine zentrale Schwachstelle.

2. Ergebnisse in der realen Welt

Hinsichtlich des Einsatzes in der realen Welt sind die aktuellen allgemeinen Roboter-Manipulationsstrategien noch unzuverlässig. Die beste Strategie π0.5 erreicht bei 18 realen Aufgaben eine Erfolgsrate von nur 12,8 % und eine Punktzahl von 22,9 – weit unter der vollen Punktzahl der menschlichen Teleoperation. Die Punktzahlen liegen allgemein über den Erfolgsraten, was zeigt, dass Modelle oft einige Schritte abschließen, aber kaum die vollständige Aufgabe bewältigen können.