RCIM 2026: Die Xi'an Jiaotong University beteiligt sich an der Herausgabe von Video2Knowledge: Ein einziges mit dem Smartphone aufgenommenes Video reicht aus, um Robotern neue Fähigkeiten zu vermitteln.
In den vergangenen zwei Jahren war das am meisten Kopfzerbrechen bereitende Problem in der Branche für verkörperte Intelligenz die Daten für das maschinelle Lernen.
Damit ein Roboter Fähigkeiten wie Greifen, Transportieren und Montage beherrscht, muss oft ein Team von Ingenieuren mit Fernbedienungsgeräten wiederholt Demonstrationen durchführen oder in einer Simulationsumgebung riesige Mengen an Trajektorien erzeugen. Für eine flüssige Aktion des Greifens, Bewegens und Ablegens sind möglicherweise mehrere Monate der Datenerfassung und des Trainings erforderlich. Noch problematischer ist, dass viele Daten sofort ungültig werden, sobald sich die Szene ändert oder die Teile ausgetauscht werden.
Alle hoffen, einen Weg mit niedrigeren Kosten zu finden. Menschen können neue Aktionen lernen, nachdem sie sich ein Video angesehen haben – warum sollte das kein Roboter können? Das Team von Li Feifei und Figure AI erforschen beide diese Richtung, und Tesla hat ebenfalls angekündigt, dass Optimus mithilfe von Videos von Bedienvorgängen der Mitarbeiter trainiert werden soll. Dieser Weg weist jedoch ein natürliches Problem auf: Die Körperstruktur von Mensch und Roboter ist völlig unterschiedlich. Präzise Vorgänge, die mit fünf Fingern ausgeführt werden, lassen sich von einem Greifer mit zwei Fingern überhaupt nicht direkt übernehmen.
Um dieses Problem zu lösen, hat das LISMS-Labor der Universität Auckland gemeinsam mit der Xi'an Jiaotong University ein Framework namens Video2Knowledge vorgeschlagen. Sein Kernidee besteht nicht darin, die Bewegungstrajektorien von Menschen nachzuahmen, sondern der Maschine zu ermöglichen, zu verstehen „welche Aufgabe im Video ausgeführt wird“, und dann selbst zu planen, wie sie vorgehen soll. Für die gesamte Eingabe des Frameworks werden keine Tiefensensoren, keine Arrays von Mehrwinkelkameras und auch keine CAD-Zeichnungen von Objekten benötigt – es reicht ein gewöhnliches monokulares RGB-Video, das mit einem Smartphone aufgenommen wurde.
Monokulare Videos weisen jedoch einen fatalen Mangel auf: Sie enthalten keine Tiefeninformationen. Bei unterschiedlichen Blickwinkeln kann die Position desselben Objekts „driften“ und der Drehwinkel neigt dazu, „sprünge“ zu machen. Wenn der Roboter mit solchen abweichenden Daten gefüttert wird, werden die Aktionen unweigerlich ungenau.
Um dieses Problem zu lösen, extrahiert das System zunächst die Bewegungsinformationen von Hand und Objekt aus dem Video. Für die Handhaltung wird das WiLoR-Modell verwendet, das ein dichtes 3D-Handgitter aus einem einzelnen RGB-Bild wiederherstellt. Die Genauigkeit der Verfolgung der linken Hand beträgt in drei Blickwinkeln 95,1 %, 89,2 % bzw. 96,0 %, die der rechten Hand 87,5 %, 95,6 % bzw. 97,5 %. Für die Objektverfolgung werden Methoden wie OnePoseViaGen verwendet, die kein CAD-Modell benötigen, sondern direkt die 3D-Form des Objekts aus dem Video rekonstruieren und dann die 6D-Pose jedes Bildes verfolgen.
Die durch Merkmalsabgleich erhaltenen Posen weisen jedoch oft unbegründete Rotationssprünge auf. Für diesen Zweck hat das Team ein „physikalisch wahrnehmbares Korrekturmodul“ entwickelt. Die Korrektur erfolgt in vier Phasen: Zuerst werden Ausreißer der Position entfernt, dann Rotationssprünge im Bereich von 90° und 180° erkannt und korrigiert, schließlich wird die Konsistenz der Projektion überprüft, um sicherzustellen, dass die korrigierte Pose mit dem Bild übereinstimmt.
Der Korrektureffekt ist sehr deutlich. Bei dem linken Frontalblickwinkel stieg die Genauigkeit der Pose des bearbeiteten Objekts von 52,5 % auf 59,0 %, die des Zielobjekts von 84,5 % auf 89,0 %. Bei bestimmten Blickwinkeln und Aufgaben konnte die Formgenauigkeit des bearbeiteten Objekts sogar direkt von 18,2 % auf 95,5 % angehoben werden.
Das Papier weist jedoch auch darauf hin, dass das Korrekturmodul in Szenen mit schnellen Bewegungen oder starker Verdeckung manchmal den Fehler sogar vergrößert – dies ist ebenfalls das Problem, das das Team im nächsten Schritt lösen wird. Im Vergleich zu herkömmlichen Glättungsmethoden wie dem Kalman-Filter und dem gleitenden Durchschnittsfilter konnten diese Filter alle keine Genauigkeitssteigerung erzielen, während nur dieses Korrekturmodul alle Werte der ursprünglichen Eingabe erreichte oder übertraf. Ablationsstudien zeigten, dass nach dem Entfernen der Ein-Achsen-Rotationserkennung die Form- und Posengenauigkeit des bearbeiteten Objekts um jeweils etwa 18 % abnahm; nach dem Entfernen der Projektionsprüfung sank die Rotationsgenauigkeit direkt auf den Mindestwert.
Mit stabilen Trajektorien von Hand und Objekt beginnt das System, die Semantik zu analysieren. Anhand von Hinweisen wie dem Abstand zwischen Hand und Objekt, dem Bewegungszustand des Objekts und der Greifhaltung wird das fortlaufende Video in sinnvolle Aktionssegmente unterteilt, z. B. Annähern, Greifen, Bewegen, Halten und Ablegen, während gleichzeitig die endgültige Positions- und Ausrichtungsänderung des Objekts aufgezeichnet wird.
Auf den beiden öffentlichen Montagedatensätzen HA-ViD und Assembly101 betrug die Konsistenz der Aufgabensequenz 79,1 % und die Konsistenz des endgültigen geometrischen Zustands 72,5 %, wenn das extrahierte Aufgabenwissen mit den Referenzdaten der Realität verglichen wurde.
Schließlich werden Schlüsselbilder aus den Aktionssegmenten als Wegpunkte extrahiert, Anweisungen zum Öffnen und Schließen des Greifers generiert und im JSON-Format exportiert, das direkt an den Roboter übergeben werden kann.
Nachdem dieser Ablauf in der Simulationsumgebung erfolgreich getestet wurde, hat das Team ihn auch in einer echten Produktionslinie validiert. Der Bediener demonstrierte, wie die Messsonde auf das Werkstück gelegt wird, und der kollaborative Roboter Omron TM5-900 lernte dies anhand des Videos. Nach einmaligen manuellen Konfigurationen wie der Auswahl der Ankerbilder, der Koordinatenabbildung zwischen Hand und Auge und der Kalibrierung der Greifpose kann das System die Aktionssequenz für den Roboter in etwa 18 Minuten umwandeln, während die herkömmliche manuelle Programmierung etwa 35 Minuten und die Teach-In-Programmierung etwa 25 Minuten benötigen.
Wenn sich die Position des Werkstücks oder der Sonde ändert, wird ein neues Video aufgenommen, das System berechnet die Wegpunkte automatisch neu, ohne dass eine Neuprogrammierung erforderlich ist. Bei zwei völlig neuen Aufgaben – dem Einfädeln von Ringen und der Übertragung über mehrere Wegpunkte – konnte das System ebenfalls erfolgreich die Aufgabenstruktur extrahieren und eine ausführbare Sequenz generieren.
Natürlich weist es auch Schwächen auf. Bei kleinen Objekten, starker Verdeckung und schnellen Bewegungen sinkt die Qualität der Posenschätzung deutlich, und das Korrekturmodul vergrößert manchmal den Fehler. Das Team gibt an, dass im nächsten Schritt die Robustheit durch mehrskalige Erkennung und zeitlich wahrnehmende Architekturen verbessert wird, und kombinierte Aufgabendarstellungen erforscht werden, damit die erlernten Operationsprimitive zu neuen Aufgaben umgeordnet werden können, um eine längerfristige autonome Planung zu erreichen.
Zusammenfassend lässt sich sagen, dass sich die Methoden zur Erlangung von Roboterfähigkeiten von der Fernsteuerung über das Simulationstraining und die Feinabstimmung großer Modelle bis hin zum Videolernen schrittweise erweitern. Video2Knowledge bietet genau einen Weg mit niedrigen Hürden: Ein gewöhnliches Video lässt den Roboter die Aufgabe verstehen und dann versuchen, sie auszuführen. Wenn ein Werkstattmitarbeiter mit seinem Smartphone eine Geste aufnimmt und der Roboter diese nachahmen kann, wird maschinelles Lernen möglicherweise nicht mehr mit riesigem Aufwand verbunden sein.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Roboter Frontlinie“, Autor: Ein Roboter-Interessierter, veröffentlicht mit Genehmigung von 36Kr.