Die schwierigste Roboter-Demo in diesem Jahr hat einen „Roboteranteil“ von 0.

Im Mai dieses Jahres erklärte Jim Fan, Leiter der Robotikabteilung von Nvidia, in einer öffentlichen Rede: VLA und Teleoperation sind tot.

Damals war die erste Reaktion der allermeisten Menschen: In der KI-Branche, die nie an extremen Thesen fehlt, gibt es wieder eine neue kühne Behauptung.

Doch unerwarteterweise hat sich diese damals etwas übertrieben klingende Aussage einige Monate später tatsächlich allmählich in der Realität widergespiegelt.

Gerade hat die Firma Zi Bian Liang das neue geschickte Betriebssystem TwinDex vorgestellt. Unter der Bedingung, dass die Anzahl der Teleoperationsdaten von echten Geräten in der Nachtrainingsphase gleich 0 ist, hat der Roboter nacheinander mehrere feine Operationen im chemischen Experiment-Szenario wie das Drehen von Flaschenkappen und das Injizieren mit einer Spritze abgeschlossen.

Man muss wissen, dass früher, um Roboter solche feinen Operationen beizubringen, die Teleoperationsdaten von echten Geräten für die "anleitende" Lehre unbedingt erforderlich waren.

Doch diesmal hat TwinDex diesen Bedarf an Daten vollständig beseitigt, und stattdessen werden nur wenige hundert Sätze an nicht körpereigenen Daten verwendet, der Roboteranteil beträgt fast 0 ~

Wie ist das gelungen?

Die Teleoperation könnte tatsächlich in Gefahr sein

Wie das Sprichwort sagt: Ein gutes Demo ist es wert, sorgfältig bewertet zu werden.

In dem von TwinDEX veröffentlichten Demo ist der vollständigste Teil ein durchgehender chemischer Experimentablauf ohne Schnitt:

Vom Öffnen der Flasche zur Probenahme, der Bedienung von Tropfpipette und Reagenzglas bis zur Leitung mit einem Glasstab, dem Schütteln und Beobachten wird der gesamte Ablauf selbstständig von der Strategie ausgeführt.

Das gesamte Experiment umfasst 24 Teilbewegungen, erstreckt sich über drei Arten von Werkzeugen, beinhaltet mehrfache Koordination beider Hände und Wechsel der Werkzeuge, und jeder Schritt erfordert eine Positionierung im Millimeterbereich sowie eine stabile Kraftsteuerung.

Betrachtet man es im Detail, so zeigen diese drei Finger von TwinDEX tatsächlich mehrere Arten von Fähigkeiten, die in der Vergangenheit bei geschickten Operationen am schwierigsten zu realisieren waren.

Zuerst handelt es sich um feine Operationen mit sehr hohen Anforderungen an die Genauigkeit.

Beim Öffnen des Werkzeugkastens muss der Roboter mit den beiden Zeigefingern der linken und rechten Hand gleichzeitig zwei schmale Rasten ausrichten, sie genau einführen und nach unten drücken, dann den Griff mit Zeigefinger und Daumen greifen, um den Kistendeckel zu öffnen.

Die Schwierigkeit liegt hier darin, ob die Hand des Roboters genau in einen Raum mit sehr kleiner Toleranz eintreten kann, um die Operation abzuschließen.

Auf die gleiche Weise funktioniert auch die Spritzeninjektion.

Zeige- und Mittelfinger fixieren den Zylinderkörper, der Daumen richtet sich gegen die Schubstange und übt Kraft nach vorne aus, wobei sichergestellt werden muss, dass die Position nicht verrutscht und gleichzeitig die Richtung und Kraft der Injektion genau gesteuert werden.

Mit der schrittweisen Einführung der verkörperten Intelligenz in Labore, Fabriken und Haushalten werden solche Operationen mit kleiner Toleranz, hoher Genauigkeit und starkem Kontakt immer mehr zu den grundlegenden Fähigkeiten von Robotern gehören.

Der zweite Punkt ist die Dreifinger-Kooperation.

Zum Beispiel bei der Aufgabe mit Besen und Kehrschaufel bilden drei Finger eine Umhüllung um den Griff, sodass verschiedene Finger gemeinsam die Stützung und Steuerung übernehmen.

Im Vergleich zu nur zwei Fingern bietet der dritte Finger einen zusätzlichen Kontaktpunkt und eine weitere Möglichkeit, das Objekt zu stabilisieren.

Insbesondere bei Aufgaben wie der Verwendung von Werkzeugen und dem Greifen von länglichen Objekten ist dieser zusätzliche Stützpunkt sehr entscheidend.

Die dritte Kategorie sind flexible Operationen und Anpassungen in der Handfläche, die der menschlichen Hand noch näher kommen.

Beim Aufschrauben der Flaschenkappe hält TwinDEX die Kappe mit Zeigefinger und Daumen fest und vollendet die Drehung durch die seitliche Schwingung der Finger selbst, wobei das Handgelenk kaum stark gedreht werden muss.

Beim Umblättern eines Buches reibt der Daumen des Roboters zuerst das oberste Buch heraus, vollendet dann das Greifen, die Übergabe zwischen beiden Händen, das Ablegen und das Umblättern.

Nachdem ich mir das Ganze angesehen habe, ist ein sehr intuitives Gefühl:

Wenn Menschen früher solche Bewegungen bearbeitet haben, dachten sie instinktiv oft an geschickte Hände mit fünf Fingern mit komplexerer Struktur und eine große Menge an Teleoperationsdaten von echten Geräten.

Aber das oben genannte Demo zeigt genau eines: Viele feine Operationen, von denen früher angenommen wurde, dass sie fünf Finger erfordern, reichen tatsächlich mit drei Fingern aus.

Und in gewissem Maße sind diese drei Finger bereits geschickter im Umgang als viele geschickte Hände mit fünf Fingern.

Allerdings sind die oben genannten Punkte nur die Seite von TwinDEX, die im Vordergrund als Aktor des Roboters steht.

Bevor der Roboter tatsächlich mit der Arbeit beginnt, hat er noch eine andere Identität: Ein tragbares, nicht körpereigenes Datenerfassungssystem, das mit der Ausführungsseite übereinstimmt.

Im Vergleich zu vielen Lösungen, die zwei verschiedene Hardware-Systeme in der Datenerfassungsphase und der Roboterausführungsphase verwenden, verwendet TwinDEX direkt das Design der Isomorphie von Datenerfassung und Ausführung.

Einfach ausgedrückt: Diese drei Finger sind nicht nur für die Arbeit zuständig, sondern verwenden auch dieselbe Struktur für die Datenerfassung, was dem sogenannten "Was erfasst wird, ist was man bekommt" entspricht.

Die Bewegungen, die der Erfasser auf der Erfassungsseite ausführt, können direkter auf die Ausführungsseite des Roboters abgebildet werden, ohne dass eine komplexe Datenmigration über ein vollständig anderes Hardware-System durchgeführt werden muss.

Aus diesem Grund können die feinen Operationen, die sehr hohe Anforderungen an die Position und Kraft der Fingerspitzen stellen, stabiler vom Roboter ausgeführt werden.

Gleichzeitig kann der Erfasser im Vergleich zur direkten Teleoperation eines schwerfälligen Roboters Bewegungen natürlicher und schneller ausführen, die Daten sind leichter zu erfassen und es ist kostengünstiger.

Die experimentellen Ergebnisse haben diese beiden Punkte tatsächlich bestätigt.

In Bezug auf die Erfassungseffizienz beträgt die gültige Trajektorie, die TwinDEX pro Zeiteinheit erzeugen kann, etwa das 5,3-fache der herkömmlichen Teleoperation mit echten Geräten.

Derselbe Erfasser kann in derselben Zeit mit TwinDEX schneller eine Reihe von Daten sammeln, die tatsächlich für das Training verwendet werden können.

In Bezug auf die Datennutzungseffizienz hat Zi Bian Liang festgestellt:

Mit zunehmender Datenmenge verbessern sich die Strategien, die mit nicht körpereigenen Daten und Teleoperationsdaten von echten Geräten trainiert werden, mit derselben Geschwindigkeit kontinuierlich und konvergieren schließlich zu ähnlichen Leistungen.

Mit anderen Worten: In dieser Versuchsgruppe können nicht körpereigene Daten beim Trainieren des Modells die Teleoperationsdaten von echten Geräten fast zu 100 % ersetzen.

Als Datenerfassungsgerät löst TwinDEX also nicht nur das Problem, "wie man Daten schneller erfasst".

Entscheidender ist, dass es bei der Erhöhung der Erfassungseffizienz gleichzeitig den Genauigkeitsverlust so weit wie möglich reduziert, wenn diese Daten tatsächlich auf den Roboter übertragen werden.

Und beide Dinge führen letztendlich zu demselben Problem:

Wie man nicht körpereigene Daten tatsächlich zu Daten macht, die für Roboter verwendbar sind.

TwinDEX: Die Ausrichtung der verkörperten Daten im Voraus realisieren

Streng genommen ist TwinDEX nicht nur eine dreifingrige geschickte Hand.

Es ist eher ein geschicktes Betriebssystem, das gemeinsam aus Datenerfassungs-Hardware, Roboter-Endeffektor, Datenverarbeitungs-Pipeline und Modell-Trainingsablauf besteht.

Und es reicht nicht aus, die Datenerfassungsseite und die Ausführungsseite des Roboters einfach gleich aussehen zu lassen, um die Datenmigration natürlich abzuschließen.

Der wirklich entscheidende Punkt von TwinDEX ist, dass das gesamte System von dem Ziel ausgeht, die Nachtrainingsphase nur mit nicht körpereigenen Daten abzuschließen und die Teleoperationsdaten von echten Geräten zu entfernen, und dann das gesamte System umgekehrt entwirft.

Von der Konfiguration der geschickten Hand, der Bewegungsart des Erfassungsgeräts über visuelle Beobachtung, Zeitsynchronisation und Datenverarbeitung bis hin zum endgültigen Modelltraining dreht sich alles tatsächlich um dasselbe Problem:

Wie man sicherstellt, dass die erfassten Daten von Anfang an so nah wie möglich an den Daten liegen, die der Roboter tatsächlich benötigt.

Nachdem wir das verstanden haben, schauen wir uns nun den intuitivsten Hardware-Teil von TwinDEX an.

Aus der Funktionsaufteilung im tatsächlichen Demo übernehmen Daumen und Zeigefinger eine große Anzahl von Gegenüberstellungen, Greifbewegungen, Drehbewegungen und feinen Operationen, während der dritte Finger zusätzlich Umhüllung, Stützung und Stabilisierung bieten kann.

Das gesamte Design von TwinDEX lässt sich in drei Eigenschaften zusammenfassen: Geschicklichkeit, Konsistenz und Erweiterbarkeit.

Erstens die Geschicklichkeit, die bereits wiederholt erwähnt wurde.

TwinDEX hat weder einen gängigen zweifingrigen Greifer wie UMI gewählt noch die Struktur der menschlichen Hand bis zu fünf Fingern nachgebildet, sondern einen Kompromiss zwischen Geschicklichkeit, Stabilität und technischer Komplexität gefunden.

Es ist allgemein bekannt, dass je mehr Finger vorhanden sind und je näher die Struktur der menschlichen Hand kommt, desto höher ist theoretisch die Obergrenze für geschickte Operationen.

Gleichzeitig steigen aber auch die Anzahl der Gelenke, Antriebe und Sensoren sowie die daraus resultierenden Kosten für Kalibrierung, Steuerung und Wartung.

Umgekehrt ist der zweifingrige Greifer zwar einfach genug, aber er kann kaum feine Operationen wie Drehen, Anpassungen in der Handfläche und Mehrpunktkontakt abdecken.

Nach Tests mit grundlegenden Greifbewegungen, Drehvorgängen an Ort und Stelle, Werkzeugverwendung und Operationen in der Handfläche sowie dem Vergleich mit mehreren Kandidatenkonfigurationen hat Zi Bian Liang schließlich festgestellt: