Das Team der Tsinghua-Universität hat den HandsOn-Benchmark für geschickte Manipulation aufgebaut, der die beidhändigen Fähigkeiten von Robotern anhand von 66 Aufgaben umfassend bewertet.

Für die Roboteroperationen muss eine neue „Prüfungsarbeit“ speziell für die geschickten Roboterhände erstellt werden.

Die bisherigen Benchmarks für Roboteroperationen konzentrierten sich größtenteils auf Greifzangen. Mit der stetigen Anhäufung von menschlichen Betriebsdaten aus der Egoperspektive wird immer umfassender aufgezeichnet, wie Menschen Gegenstände greifen, Werkzeuge verwenden und feine Berührungsvorgänge abschließen. Geschickte Roboterhände, deren Struktur der menschlichen Hand ähnelt, haben das Potenzial, durch diese Daten umfassendere Lernfortschritte zu erzielen und damit zu einem wichtigen Bereich der Roboteroperationen zu werden.

Die geschickten Roboterhände entwickeln sich stetig weiter, aber die „Prüfungsarbeit“ hat damit nicht Schritt gehalten.

Geschickte Roboterhände verfügen über eine große Anzahl aktiver Gelenke, ihre Aufgaben sind voller Berührungsvorgänge, erfordern oft die Zusammenarbeit beider Hände und müssen die vorherigen Ergebnisse in längeren Aktionssequenzen beibehalten. Es ist schwierig zu beurteilen, ob die Aufgabe erfolgreich abgeschlossen wurde, und es ist auch schwierig zu lokalisieren, bei welchem Schritt der Fehler aufgetreten ist. Die Benchmarks aus der Ära der Greifzangen können diese Probleme nicht direkt beantworten, während ein systematisches und zuverlässiges Bewertungssystem für geschickte Roboterhände derzeit noch fehlt.

Daten und Modelle entwickeln sich stetig weiter, aber es fehlt an einem Maßstab, um die Fortschritte zu messen.

Kürzlich hat das Team um Professor Ding Ning von der Tsinghua-Universität gemeinsam mit Forschern der Universität für Post- und Telekommunikation Beijing, der Peking-Universität und von Nature Will ein kombinierbares Simulations- und Bewertungsplattform namens HandsOn für die geschickte Bedienung über verschiedene Roboterplattformen hinweg aufgebaut, um diese Lücke zu schließen.

HandsOn umfasst 66 manuell überprüfte Aufgaben und 18.000 menschliche Demonstrationen für ferngesteuerte Simulationsbedienungen, wobei die Bewertung auf Werkzeuggebrauch, feine Berührungsvorgänge, Zusammenarbeit beider Hände und Aufgabenübertragung ausgerichtet ist. Die Plattform unterstützt 5 Arten von Roboterarmen, 6 Arten von geschickten Händen sowie etwa 200 Arten von Vermögenswerten für starre Körper, Gelenkobjekte und verformbare Objekte, die in zufälligen Szenarien kombiniert werden können.

HandsOn umfasst 18.000 ausgewählte Demonstrationen für ferngesteuerte Simulationsbedienungen, die Aufgaben sind in Core-50 und Transfer-16 unterteilt.

Die von diesem Benchmark vorgelegten Ergebnisse sind nicht leicht zu erzielen: Das Team hat verschiedene Richtungen wie Diffusionsrichtlinien, visuell-sprachliche Aktionsmodelle und weltweite Aktionsmodelle bewertet. Die Ergebnisse zeigen, dass unter den Core-50-Aufgaben mit bereitgestellten Trainingsdemonstrationen die höchste Erfolgsrate der trainierten Mehrzweckrichtlinie nur 29,1 % beträgt. Bei den Transfer-16-Aufgaben ohne Zielaufgaben-Trainingsdemonstrationen liegt die durchschnittliche Erfolgsrate der 8 trainierten Mehrzweckrichtlinien unter 1 %.

Darüber hinaus erzielt GPT-6 ohne Feinabstimmung mit Benchmark-Daten durch Steuerung von Handfläche und Fingern über die Schnittstelle move_eef in 660 Tests Erfolgsraten von 5,2 % für Core-50 und 1,9 % für Transfer-16.

Das Team hat zudem Vorgänge wie Greifen, Berührung, Koordination beider Hände und Beibehaltung des Zielzustands weiter verfolgt und festgestellt, dass Roboter oft die erste Hälfte der Aktion abschließen können, aber in kritischen Momenten Fehler machen.

Die zugehörigen Arbeiten, Codes und Datenressourcen sind bereits veröffentlicht worden.

ArXiv der Arbeit: https://arxiv.org/abs/2610.26765

GitHub des Codes: https://github.com/TsinghuaC3I/HandsOn

Hugging Face der Daten: https://huggingface.co/datasets/Cyan666/HandsOn-Datasets

Warum benötigen geschickte Roboterhände ein neues Bewertungsbenchmark?

Die Schwierigkeit von geschickten Roboterhänden liegt nicht nur darin, dass sie mehr Finger als Greifzangen haben, sondern auch darin, dass sie die sich ständig ändernden Berührungsbeziehungen während des Betriebs steuern müssen.

Nach dem Anheben einer Maus muss der Roboter verhindern, dass der Klick vorzeitig ausgelöst wird. Beim Einstellen von zwei Knöpfen muss er sicherstellen, dass beide gleichzeitig in der Zielposition gehalten werden. Beim Ablegen des Deckels einer Box muss die ursprüngliche Ausrichtung auch nach dem Loslassen beibehalten werden. All diese Aufgaben erfordern, dass der Roboter die Fingerbewegungen koordiniert, den Berührungszustand beurteilt und sicherstellt, dass bereits abgeschlossene Vorgänge nicht durch nachfolgende Aktionen zerstört werden.

Dies ändert auch die Bewertungsmethode für Roboteroperationen. Für Greifzangen sind der Erfolg des Greifvorgangs und die korrekte Platzierung des Objekts an der vorgesehenen Position oft wichtige Beurteilungskriterien. Für geschickte Roboterhände reicht es bei weitem nicht aus, das Objekt nur zu greifen. Der Roboter muss das Werkzeug tatsächlich verwenden, feine Bedienvorgänge abschließen und den korrekten Zustand des Objekts bei mehrstufigen Aufgaben beibehalten. Ein Fortschritt bei einer einzelnen Aktion bedeutet nicht, dass die gesamte Aufgabe erfolgreich abgeschlossen wurde.

Die Anhäufung von menschlichen Betriebsdaten aus der Egoperspektive bietet neue Möglichkeiten für geschickte Roboterhände, diese Fähigkeiten zu erlernen. Auch nach der Zunahme von Demonstrationsdaten müssen noch zwei Fragen beantwortet werden: Kann das Modell die erlernten Vorgänge stabil wiederholen? Kann es seine vorhandenen Fähigkeiten auf neue Objekte, Aufgabenkombinationen oder verformbare Objekte übertragen?

Vorhandene Benchmarks für geschickte Bedienvorgänge haben bereits verschiedene Roboterplattformen, funktionelle Bedienvorgänge und die Zusammenarbeit beider Hände abgedeckt. Dennoch gibt es Raum für weitere Verbesserungen bei der Größe der menschlichen Demonstrationsdaten, den speziell für die Bewertung reservierten unbekannten Aufgaben und der Diagnose von fehlgeschlagenen Betriebsvorgängen.

Das Design von HandsOn setzt an diesem Punkt an, misst die Ausführungsfähigkeit und die Generalisierungsfähigkeit getrennt und unterteilt die 66 Aufgaben in zwei Bewertungsgruppen: Core-50 und Transfer-16.

Core-50 stellt Demonstrationsdaten für das Erlernen von Richtlinien bereit und bewertet die Leistung der Richtlinien durch eine neue unabhängige Ausführungsprüfung. Transfer-16 wird speziell für die Bewertung der Generalisierungsfähigkeit verwendet, wobei die Demonstrationsdaten der Zielaufgaben nicht in den Trainingssatz aufgenommen werden.

HandsOn-Suite: Core-50 enthält Demonstrationsinhalte; Transfer-16 wird nur für Bewertungszwecke verwendet.

Dieses Design prüft nicht nur, ob der Roboter Aufgaben mit vorhandenen Demonstrationen abschließen kann, sondern untersucht auch weiter, ob er erworbene Fähigkeiten auf neue Betriebsbedingungen übertragen kann. In Kombination mit stufenweisen Diagnosen können Forscher auch analysieren, ob der Fehler bei der Berührungsherstellung, der Funktionsbedienung, der Koordination beider Hände, der Beibehaltung des Zielzustands oder der Verknüpfung nachfolgender Schritte auftritt.

Core-50: Kann die Aufgabe nach dem Erlernen stabil ausgeführt werden?

Core-50 umfasst 50 Aufgaben mit bereitgestellten Trainingsdemonstrationen, die Fähigkeiten wie Funktionsverständnis, numerische Eingabe, räumliche Beziehungen, Gelenkbedienung, genaue Berührung und Zusammenarbeit beider Hände abdecken.

Diese Kategorien entsprechen spezifischen Alltagsszenarien. Beim Bedienen einer Schere muss der Roboter sie vom Tisch heben und drei Öffnungs- und Schließvorgänge während des anhaltenden Greifens abschließen. Beim Einstellen eines Timers muss er die angegebene Minute und Sekunde eingeben und nach dem Start die Hände zurückziehen. Beim Ausklappen eines Fächers muss der Roboter mit beiden Händen die äußeren Fächerstäbe greifen, sie bis zum Zielwinkel ausklappen und diesen Zustand beibehalten. Die Kaffeezubereitung verbindet weitere Schritte wie das Nehmen einer Tasse, das Schließen der Tür, das Aufnehmen von Kaffee und das Ablegen, um die Verknüpfung zwischen den Aktionen zu prüfen.

Kaffeezubereitung: Mehrere Teilziele sind nacheinander verbunden,

Reinigung des Flaschenkörpers: Reihenfolge und Arbeitsteilung beider Hände,

Ausklappen eines Fächers: Koordinierte Gelenkbewegungen beider Hände,

Einstellen eines Timers: Numerische Ziele und Tastenbedienung,

Öffnen und Schließen der Schere in der Luft: Greif- und Funktionsaktionen,

Auslösen des Bohrers: Berührung und Funktionsaktivierung,

Sechs Aufgabenbeispiele in Core-50. Jede Aufgabe hat klare Ziele, Aktionsbeschränkungen und Abschlussbedingungen; alle Bilder sind Originalbilder aus den Simulationsszenarien.

Das Aufgabendesign erstreckt sich über drei Dimensionen.

Die erste Dimension ist der Interaktionstyp, der grundlegende Bedienvorgänge, Funktionsnutzung und berührungsintensive Bedienvorgänge umfasst.

Die zweite Dimension ist die Aufgabenstruktur, die einstufige Bedienvorgänge, wiederholte Bedienvorgänge und lang andauernde Aufgaben umfasst.

Die dritte Dimension ist der Objekttyp, der starre Körper, Objekte mit Dreh- oder Schiebegelenken sowie verformbare Objekte abdeckt.

In Core-50 umfassen die drei Interaktionstypen 17, 18 bzw. 15 Aufgaben. Die Kreuzkombination der drei Dimensionen ermöglicht es dem Benchmark, Bedienungsszenarien mit unterschiedlichen Schwierigkeitsgraden abzudecken.

Transfer-16: Kann die Aufgabe auch abgeschlossen werden, wenn Objekte und Aufgaben ausgetauscht werden?

Transfer-16 umfasst 16 Bewertungsaufgaben ohne bereitgestellte Trainingsdemonstrationen der Zielaufgaben, um weiter zu prüfen, ob das Modell erworbene Fähigkeiten übertragen kann. Darunter prüfen 7 Aufgaben die Übertragung von Vermögenswerten oder Beziehungen, 6 Aufgaben prüfen die Kombination von Fähigkeiten, und weitere 3 beziehen sich auf die Bedienung verformbarer Objekte.

Die Übertragung von Vermögenswerten oder Beziehungen erfordert, dass das Modell bei neuen Objekten oder Zielbeziehungen das richtige Bedienobjekt findet und die Aufgabe abschließt. Die Kombination von Fähigkeiten erfordert, dass das Modell bereits erlernte Aktionen in der richtigen Reihenfolge miteinander verknüpft. Bei der Bedienung verformbarer Objekte werden Handtücher, Schwämme und Kissen eingeführt, um das Modell dazu zu bringen, mit Formänderungen von Objekten während des Betriebs umzugehen.

Beispielsweise muss der Roboter bei der Aufgabe, die Box nach der Übergabe eines Würfels zu schließen, zuerst die Übergabe mit beiden Händen abschließen, dann den Würfel in die Box legen und schließlich den Deckel ausrichten und schließen. Jede lokale Aktion kann bereits in anderen Aufgaben vorgekommen sein, aber das Modell muss trotzdem beurteilen, ob der aktuelle Schritt abgeschlossen ist und ob das Ergebnis des vorherigen Schritts beibehalten werden kann.

Die Anforderung, ein Handtuch nacheinander zu falten, ist noch komplexer. Der Roboter muss zwei Faltvorgänge nacheinander abschließen und das Handtuch nach dem Loslassen stabil