Roboter lernen Manipulationen durch Videos – UCBerkeley realisiert erstmals die Bereitstellungspipeline von Internetvideos zu echten geschickten Händen

【Einführung】Mit nur monokularen RGB-Videos wandelt Do as I Do alltägliche menschliche Handlungen in ausführbare Trajektorien für die Sharpa Wave um und schließt die entscheidende Kette zwischen Video und Roboterdaten für menschenähnliche feinmotorische Handlungen.

Das Lernen feinmotorischer Handlungen beginnt beim Menschen oft mit dem „Zuschauen“.

Kinder beobachten, wie andere Eier schlagen, Wasser gießen oder Nägel hammern, und lernen langsam diese Bewegungen durch Nachahmung. Roboter sind jedoch anders. Das heutige Lernen von Robotern basiert eher auf dem „Tun“, wie z. B. auf teurer Fernsteuerung, einer großen Anzahl von Simulationen oder der Erfassung von Daten an echten Maschinen in sorgfältig gestalteten Szenen.

Tatsächlich gibt es bereits Daten, die Roboter „zuschauen“ können. YouTube, First-Person-Datensätze und generative Videos enthalten bereits eine enorme Menge an Material über die Interaktion von menschlichen Händen mit Objekten. Der echte Engpass liegt nicht an einem Mangel an Daten , sondern daran, ob die Datenkonvertierung möglich ist: Wie können diese verrauschten monokularen RGB-Videos in Bewegungsbahnen umgewandelt werden, die von einer feinmotorischen Mehrfingergreifhand ausgeführt werden können?

Der von der UC Berkeley - Gruppe vorgeschlagene End-to-End-Prozess zielt darauf ab, dieses Problem zu lösen. Das Forschungsteam hat die erste vollständige Kette etabliert, die aus Netzwerkvideos reale ausführbare Trajektorien für eine feinmotorische Greifhand generieren kann: Zunächst wird der 4D-Hand-Objekt-Interaktionsprozess aus monokularen RGB-Videos aus realen Szenen rekonstruiert, und dann werden diese Interaktionstrajektorien auf die Sharpa Wave, eine feinmotorische Greifhand mit 22 Freiheitsgraden, umgeleitet.

Link zur Studie: https://arxiv.org/abs/2606.19333 

Link zum Projekt: https://do-as-i-do.com/

Der gesamte Pfad hat 500 verifizierte Trajektorien für 20 Arten von Handlungen generiert und 10 reale Aufgaben auf einer Plattform mit zwei UR3e - Roboterarmen und zwei Sharpa Wave - Greifhänden mit einer Frequenz von 50 Hz durchgeführt.

Problem: „Sehen“ ≠ „Können“

Um die Skalierung von Daten für feinmotorische Roboter zu erreichen, müssen immer noch drei strukturelle Probleme gelöst werden:

Die stabile Rekonstruktion der Hand-Objekt-Interaktion in monokularen RGB-Videos ist immer noch schwierig.

Videos aus realen Szenen weisen oft Probleme wie Bewegungsunschärfe, Verdeckungen und Tiefenambiguitäten auf, und die Objektarten sind nicht festgelegt. Tracking - Methoden wie FoundationPose können bereits bei leichter Unschärfe die Positionsverfolgung verlieren. Einige kombinierte Rekonstruktionsmethoden sind stärker von Laborumgebungen abhängig oder können nur vordefinierte Objektarten verarbeiten.

Ohne eine stabile 4D - Hand-Objekt-Rekonstruktion ist es schwierig, menschliche Videos für das Lernen von Robotern zu nutzen.

Rauschende Referenzbahnen führen zu einem Versagen der Bewegungsumleitung.

Bisherige dynamikbasierte Bewegungsumleitungsmethoden, wie z. B. SPIDER oder Tracking - Methoden auf der Grundlage von Reinforcement Learning (RL), gehen normalerweise davon aus, dass die Eingabe saubere MoCap - Daten sind. In der Realität können die aus Netzwerkvideos rekonstruierten Referenzbahnen jedoch verrauscht sein. Sie können zeitliche Diskontinuitäten, fehlerhafte Kontaktbeziehungen oder sogar physikalisch unmögliche Anfangszustände enthalten.

Diese Probleme wirken sich direkt auf die anschließende Optimierung aus. Die Experimente in der Studie zeigen, dass die Fehlerrate bei der direkten Anwendung von auf Sampling basierenden Optimierungsmethoden auf solchen verrauschten Referenzbahnen bis zu 75 % betragen kann.

Die Fernsteuerung ist an sich schwer zu skalieren.

Die Fernsteuerung kann reale Roboterdaten liefern, ist jedoch sehr teuer. Sie erfordert Fachpersonal, spezielle Geräte und die Erfassung von Daten für jede einzelne Aufgabe. Selbst die vielfältigen Handlungen in einer Stunde menschlicher Kochvideos zu erfassen, ist mit der Fernsteuerung allein schwierig, ganz zu schweigen von der Erfassung der riesigen Menge an menschlichen Videos im gesamten Internet.

Deshalb will Do as I Do die Frage beantworten: Kann ein Roboter allein mit monokularen RGB-Videos, ohne vorherige Annahmen über das Greifen und ohne Beschränkung auf starre Objektarten von „Sehen“ zu „Tun“ gelangen?

Lösung

Der Prozess von Do as I Do gliedert sich in zwei Phasen:

Phase 1: Stabile Objektverfolgung mit geführter Diffusion

SAM 3D kann für einzelne Bilder Objektnetze generieren. Wenn jedoch jedes Frame unabhängig verarbeitet wird, neigen die Ergebnisse leicht zu Drift und es ist schwierig, zeitliche Kontinuität aufrechtzuerhalten.

Deshalb versucht Do as I Do, zunächst einen Ankerframe auszuwählen und die Objektform in diesem Frame zu fixieren. Bei der Rauschunterdrückung durch Flow - Matching in den folgenden Frames lässt das System die Positions - Sampling - Ergebnisse des aktuellen Frames sich der Position des vorherigen Frames annähern, um so bei gleichbleibender Objektform kontinuierlichere Positionsbahnen zu erhalten. Gleichzeitig passt das System die Position auch anhand der geschätzten Rotationsgeschwindigkeit des Objekts aus der 2D - Punktverfolgung adaptiv an. Dadurch wird verhindert, dass die Verfolgung zu starr ist und es werden fehlerhafte Drehungen reduziert.

In einer manuellen Vergleichsbewertung von 150 Videos aus realen Szenen haben die Bewerter in 67 % der Fälle die Verfolgungsergebnisse von Do as I Do als besser als die von FoundationPose eingestuft. In vielen Fällen stimmten mehrere Bewerter in ihrer Beurteilung überein.

Phase 2: Robuste Bewegungsumleitung für rauschende Referenzbahnen

Do as I Do baut auf dem Sampling / MPPI - Optimierungsrahmen von SPIDER auf und fügt drei zusätzliche Entwürfe hinzu, um die rauschenden Referenzbahnen, die aus Netzwerkvideos rekonstruiert wurden, zu verarbeiten:

Nach diesen Verbesserungen hat Do as I Do die Erfolgsrate der Bewegungsumleitung auf rauschenden Referenzbahnen aus realen Szenen von 25 % auf 71 % gesteigert.

Experimentelle Ergebnisse

Benchmark - Test für die Rekonstruktionsfähigkeit (SOTA)

Benchmark - Test für die Bewegungsumleitung

Datengrundlage für 500 verifizierte Trajektorien

Diese Methode deckt schließlich 20 Arten von Handlungen ab. Diese Handlungen sind nicht einfach nur das Greifen oder Ablegen, sondern komplexere Handlungen, die eher dem menschlichen Alltag entsprechen, wie z. B. Ablegen, Greifen, Wischen, Streichen, Drücken, Bügeln, Streichen, Staubwischen, Graben, Löschen, Gießen, Schreiben, Schlagen, Rühren, Stechen, Verdichten, Bohren, Hammern, Schneiden und Soßenstreichen.

Einsatz an echten Maschinen

Diese Trajektorien bleiben nicht nur in der Simulation. Das Forschungsteam hat 10 repräsentative Handlungen ausgewählt und auf einer Plattform mit zwei UR3e - Roboterarmen und zwei Sharpa Wave - Greifhänden eingesetzt, um die Ausführung an echten Maschinen mit einer Steuerfrequenz von 50 Hz zu erreichen.

Die eingesetzten Handlungen umfassen verschiedene Objektformen und Greifarten, wie z. B. das dreifingerige Schreibgreifen, das Kraftgreifen, das palmar - Greifen und das parallele Streckgreifen.

Die Sharpa Wave hat 22 Freiheitsgrade und ist in der Größe der menschlichen Hand ähnlich, weshalb sie sich besser als Ziel für die Übertragung menschlicher Handbewegungen eignet. Handlungen wie Schlagen, Rühren und Hammern erfordern die Zusammenarbeit beider Hände, was mit herkömmlichen Parallelgreifern schwierig ist. Die Sharpa Wave kann mit einer Gestenwechselrate von über 4 Hz und einer Spitzenkraft von 50 N die Stärke und Geschwindigkeit dieser Handlungen bewältigen.

Von der Rekonstruktion, der Simulation (MuJoCo Warp, 200 Hz) bis zum realen Einsatz hat das Forschungsteam die Sharpa Wave als Zielgreifhand für die Bewegungsumleitung gewählt und die Handlungsbahnen aus menschlichen Videos auf diese Greifhand übertragen.

EgoScale leitet ebenfalls die Schlüsselpunkte der menschlichen Hand auf diese Greifhand um, und CAIP führt die Bewertung und Validierung auf einer Plattform mit Dexmate Vega + zwei Sharpa Wave - Greifhänden durch. Da die Zielgreifhand der menschlichen Hand ähnlicher ist, ist die morphologische Differenz, die das System bei der Übertragung von menschlichen Handlungen auf die Ausführung durch den Roboter überwinden muss, kleiner.

Auswahlhandbuch: Warum können 95 % der Netzwerkvideos noch nicht direkt verwendet werden

Für Teams, die die Daten aus menschlichen Videos skalierbar nutzen möchten, einschließlich Forschungsteams in Richtungen wie EgoScale, gibt Do as I Do einen sehr praktischen Hinweis: Es ist nicht immer so, dass mehr Videos besser sind. Die Fähigkeit, nutzbare Daten auszusieben, ist ebenfalls wichtig.

Das Forschungsteam hat 2000 10 - Sekunden - Videoclips aus dem 100DOH - Datensatz analysiert (die bereits auf Hand - Objekt - Interaktionen gefiltert wurden):

Das Ergebnis ist eindeutig: Wenn man die Rohvideos nicht zuerst vorverarbeitet und sie direkt für das Lernen von Robotern einsetzt, bleiben möglicherweise nur etwa ein Zwanzigstel der Daten tatsächlich nutzbar. Deshalb hat Do as I Do auch eine Reihe von Datenauswahlkriterien zusammengefasst: Prüfen, ob Hand und Objekt immer im Bild bleiben, feststellen, ob die Handlungen über Kameraschnitte hinweggehen, Videoclips mit zu starker Kamerabewegung ausschließen und Situationen identifizieren, in denen SAM