Science Robotics: Dass Roboter Salti schlagen können, ist längst keine Neuigkeit mehr. Die Forschungsteams aus Berkeley und Stanford haben nun die Kernfrage geklärt, "wann genau ein Salto ausgeführt werden soll".

Damit humanoide Roboter wirklich in Umgebungen eindringen können, die für Menschen konzipiert sind, ist das Gehen nur der Ausgangspunkt. Sie müssen zudem hochdynamische Aktionen wie Laufen, Springen, Rollen, Umdrehen und Hindernisvermeidung ausführen sowie Fähigkeiten natürlich wechseln, wenn sich die Aufgaben ändern. Noch schwieriger ist es, dass diese Aktionen sowohl stabil sein müssen als auch eine menschenähnliche Koordination und Rhythmik aufweisen.

Herkömmliche Methoden stützen sich in der Regel auf vereinfachte dynamische Modelle, hierarchische Planer oder Belohnungsfunktionen, die für einzelne Aufgaben entwickelt wurden. Sie neigen dazu, unnatürliche Aktionen wie „dauerndes Schreiten“, „lang anhaltendes Beugen der Knie“ oder „starke Körperstöße“ zu erzeugen. Obwohl Reinforcement Learning (RL) humanoide Roboter bereits dazu gebracht hat, das Gehen auf ebenem Boden, Treppensteigen, Laufen und das Durchqueren komplexer Gelände zu beherrschen, erfordert jede zusätzliche Verhaltensweise oft neue Belohnungsgestaltung, Parameteranpassungen oder sogar ein Training von Grund auf.

Darüber hinaus sind diese Methoden in der Regel auf bestimmte Aktionen oder Ziele beschränkt und fehlt es an Allgemeingültigkeit für die Kombination verschiedener Fähigkeiten, insbesondere bei der Bearbeitung unbekannter Aufgaben.

Heute haben die Teams der University of California, Berkeley und der Stanford University einen neuen Durchbruch erzielt:

Das von ihnen vorgestellte, auf Reinforcement Learning basierende Bewegungsverfolgungsframework BeyondMimic ermöglicht es humanoiden Robotern, zunächst von menschlichen Aktionen zu lernen und anschließend Fähigkeiten zu kombinieren und Aufgaben anzupassen, indem sie geführte Diffusionsmodelle nutzen.

Auf der Grundlage dieses Frameworks können humanoide Roboter unter einheitlichen Trainingseinstellungen Hunderte von Aktionen erlernen, darunter seitliche Handstände in der Luft, Drehtritte, Überschlagtritte, Sprints und Tanzen, und diese Fähigkeiten auf echte Hardware übertragen. Darüber hinaus können die Roboter nach der Bereitstellung auch Aufgaben bearbeiten, die in der Trainingsphase nicht gesehen wurden, wie Pfadnavigation, Joystick-Fernsteuerung, Hindernisvermeidung und Aktionseinfügung.

Das Forschungsteam gibt an, dass diese Arbeit die skalierbare Erfassung menschenähnlicher Bewegungsfähigkeiten aus menschlichen Aktionen sowie die Bewegungssynthese realisiert, die über die Trainingseinstellungen hinaus generalisiert und angepasst werden kann. Zukünftige Iterationen von BeyondMimic werden voraussichtlich Modelle hervorbringen, die direkt aus menschlichen Demonstrationen lernen können, und es Robotern ermöglichen, verschiedene Aktionen in unterschiedlichen Umgebungen auszuführen.

Die zugehörige Forschungsarbeit wurde kürzlich auch in der angesehenen wissenschaftlichen Zeitschrift Science Robotics veröffentlicht.

Link zur Arbeit: https://www.science.org/doi/10.1126/scirobotics.adx8924

Nicht nur lernen, sondern auch Fähigkeiten kombinieren

Das Ziel von BeyondMimic ist es, dass humanoide Roboter in nachgelagerten Aufgaben, die in der Trainingsphase nicht gesehen wurden, verschiedene Aktionen synthetisieren und gleichzeitig anhaltende Agilität und menschenähnliche Natürlichkeit beibehalten.

Wie in der folgenden Abbildung dargestellt, umfasst das BeyondMimic-Framework die folgenden zwei Phasen: In der ersten Phase wird skalierbare Reinforcement-Learning-Bewegungsverfolgung verwendet, um eine Gruppe von Bewegungsfähigkeiten mit hoher dynamischer Leistungsfähigkeit aus verschiedenen menschlichen Aktionen zu trainieren. In der zweiten Phase wird ein einheitliches latentes Zustands-Aktions-Diffusionsmodell verwendet, um diese Fähigkeiten in derselben Bewegungsverteilung zu integrieren und Aktionen in der Inferenzphase gemäß neuen Zielen zu generieren und zu kombinieren, wobei die Klassifikatorführung (classifier guidance) zum Einsatz kommt.

Abbildung | Überblick über BeyondMimic. A. Skalierbares und robustes Lernen aus menschlichen Aktionen durch Bewegungsverfolgung, um agile menschenähnliche Verhaltensfähigkeiten zu erlangen; B. Multifunktionale Steuerung für unbekannte nachgelagerte Aufgaben mithilfe von geführter Diffusion unter Nutzung der erlernten verschiedenen Bewegungsfähigkeiten.

Erste Phase: Lernen menschlicher Aktionen mit einheitlichem Rezept

Die Aufgabe der ersten Phase besteht darin, eine Gruppe übertragbarer Bewegungsfähigkeiten aus menschlichen Demonstrationen zu erlernen. Das Forschungsteam hat keine unabhängigen Belohnungen und Trainingsabläufe für jede Aktion entworfen, sondern verschiedene Referenzaktionen teilen sich denselben Satz von Bewegungsverfolgungsformeln, Belohnungsdesigns, Beobachtungsräumen, Aktionsräumen und Hyperparametern.

Herkömmliche Methoden stehen in der Regel vor zwei Wahlmöglichkeiten: Das Training einer einzelnen Strategie mit mehreren Fähigkeiten weist eine gute Skalierbarkeit auf, aber wenn die Erkundung durch Reinforcement Learning unzureichend ist, entstehen leicht unnatürliche Aktionen. Das separate Training spezialisierter Strategien für jede Aktion kann die Natürlichkeit verbessern, erfordert jedoch die schrittweise Anpassung von Parametern für jede Aktion und ist schwer auf große Fähigkeitsbibliotheken zu skalieren. BeyondMimic wendet einen einheitlichen Bewegungsverfolgungsablauf und gemeinsame Hyperparameter an, um ein Gleichgewicht zwischen Skalierbarkeit und Natürlichkeit der Aktionen zu erreichen. Es kann verschiedene Arten menschlicher Aktionen erlernen und gleichzeitig die Agilität auf menschlichem Niveau beibehalten.

Diese Phase kombiniert zudem präzises Aktor-Modellierung, geringe Domänenrandomisierung, kontinuierliche Richtungsdarstellung, beobachtung ohne historische Daten und Bereitstellung mit niedriger Latenz. Das Forschungsteam ist der Ansicht, dass die Übertragbarkeit von der Simulation in die reale Welt nicht von einer einzelnen Komponente abhängt, sondern aus dem Zusammenspiel all dieser Designs stammt.

Die Trainingsdaten umfassen etwa 2,5 Stunden menschlicher Aktionen. Die Roboter haben alle Aktionen in einer hochgenauen Simulation validiert und 21 repräsentative Aktionssegmente auf echten Robotern bereitgestellt, mit einer Gesamtdauer von etwa 15 Minuten. Diese Aktionen umfassen Gleichgewichtsverhalten wie das Stehen auf einem Bein und das Aufstehen aus verschiedenen Positionen sowie hochdynamische Aktionen wie das Einbeinspringen, der Drehtritt, der Vorwärtsprung mit 180° oder 360°-Drehung und der seitliche Handstand in der Luft. Darüber hinaus hat das System Fähigkeiten mit verschiedenen Stilen und Kontaktmustern erlernt, wie das Gehen im Stil älterer Menschen, Tanzen, Tennis, Badminton, Kriechen auf dem Boden und das Aufstehen vom Boden.

Einige Referenzaktionen dauern länger als 3 Minuten und werden gemeinsam mit vielen anderen Fähigkeiten trainiert. Trotzdem behält die Strategie die Agilität und die Stildetails der Aktionen bei.

Zweite Phase: Kombination von Fähigkeiten mit latenten Diffusionsmodellen

In dieser Phase hat das Forschungsteam ein einheitliches latentes Zustands-Aktions-Diffusionsmodell trainiert, um die verschiedenen in der ersten Phase erhaltenen Bewegungsfähigkeiten zu integrieren.

Im Gegensatz zu Diffusionsstrategien, die nur Aktionen generieren, sagt das latente Zustands-Aktions-Diffusionsmodell nicht nur Aktionen voraus, sondern erfasst auch implizit den Einfluss von Aktionen auf zukünftige Zustände. Dadurch kann das Modell zukünftige Trajektorien während des Inferenzprozesses vorhersagen, was die Grundlage für Aufgabenanpassung und Fähigkeitswechsel bildet.

Die Schlüsselfähigkeit des Modells stammt aus der Klassifikatorführung, einem gradientenbasierten Führungsprozess, der aufgabenbezogene Kostensignale während des Generierungsprozesses nutzen kann, um die bedingungslose Aktionsgenerierung in eine zielgerichtete bedingte Generierung zu lenken.

Im prädiktiven Steuerungsprozess sagt das Modell zunächst die Zustände und Aktionen für einen zukünftigen Zeitraum voraus und korrigiert dann die Vorhersageergebnisse durch mehrere Runden von Entrauschen schrittweise, sodass die Trajektorie zum angegebenen Ziel konvergiert. Das Ziel kann die erwartete Geschwindigkeit, ein Wegpunkt, eine Schlüsselhaltung oder der Abstand zu einem Hindernis sein.

Dadurch sind Planung und Steuerung nicht mehr vollständig getrennt. Herkömmliche entkoppelte Lösungen generieren in der Regel Referenztrajektorien offline durch einen kinematischen Diffusionsplaner und übergeben sie dann an einen unabhängigen physischen Tracker zur Ausführung. Ein solcher Ablauf führt leicht zu einer erneuten Nichtübereinstimmung zwischen Planer und Tracker, und die Aktionsqualität ist durch die Fähigkeiten des Trackers begrenzt.

BeyondMimic bringt Planung und Steuerung in dasselbe latente Zustands-Aktions-Modell ein, sodass die Klassifikatorführung direkt bei Tests auf echter Hardware angepasst werden kann. Da das Modell bereits einen Satz durchführbarer menschlicher Bewegungsfähigkeiten erlernt hat, erfordern neue Aufgaben nur relativ einfache Zielkosten, um geeignete Aktionskombinationen auszulösen.

Unter diesem Mechanismus können Roboter zwischen Gehen und Laufen gemäß Geschwindigkeitsbefehlen wechseln und auch aus dem durch Joystick gesteuerten Gehen reibungslos in Rollen, Drehtritte oder Überschlagtritte übergehen, bevor sie wieder zum ursprünglichen Bewegungsmuster zurückkehren. Durch die Eingabe von spärlichen zukünftigen Keyframes kann das System zudem die Zwischenaktionen zwischen den Keyframes ergänzen, um Aktionsergänzung (motion inpainting) zu realisieren.

Die Bereitstellung beider Phasen hängt von einem Echtzeit-C++-Framework ab. Selbst bei ausschließlicher Verwendung von CPU und mobilen GPUs mit mittlerer Leistung erreicht das System eine starke Übertragbarkeit von der Simulation in die reale Welt.

Agilität und Natürlichkeit sind gleichermaßen wichtig

Das Forschungsteam hat BeyondMimic auf drei Ebenen bewertet: Erstens, ob Roboter verschiedene hochdynamische menschliche Aktionen in realen Umgebungen wiederherstellen können; zweitens, ob die Haltung beim Gehen und Laufen durch Nutzerstudien als ausreichend natürlich eingestuft wird; drittens, ob der einheitliche Controller in der Lage ist, Aktionen in der Inferenzphase flexibel zu wechseln und Aufgaben zu kombinieren, basierend auf Zielen wie Geschwindigkeit, Wegpunkten, Keyframes und Hindernissen.

Die Ergebnisse zeigen, dass BeyondMimic nicht nur verschiedene Bewegungsfähigkeiten stabil auf echte Hardware übertragen kann, sondern dass die Aktionen bei unbekannten Aufgaben auch kohärent und flüssig bleiben und deutliche menschenähnliche Merkmale aufweisen.

1. Verschiedene Aktionen und Agilität auf menschlichem Niveau

Das Forschungsteam hat die Roboter auf weichem Boden im Freien, auf Laub und unebenen Flächen getestet. Diese Kontaktbedingungen sind nicht in den Trainingsdaten enthalten, aber die Roboter haben trotzdem Aktionen wie den seitlichen Handstand in der Luft, aufeinanderfolgende seitliche Handstände, Kriechen auf dem Boden, Springen vom Boden und von Kampfkünsten inspirierte Aktionen ausgeführt.

Während des seitlichen Handstands in der Luft erreicht die Spitzenbeschleunigung des Roboters 31 m/s², die maximale Winkelgeschwindigkeit des Beckens 15,7 rad/s und die durchschnittliche Winkelgeschwindigkeit 7,01 rad/s. Das Forschungsteam weist darauf hin, dass bei geübten menschlichen Luftaktionen eine durchschnittliche Winkelgeschwindigkeit von etwa 7,75 rad/s berichtet wurde. Bei der Landung behält der Roboter eine gute Haltungssteuerung bei und benötigt kaum zusätzliche Wiederherstellungsaktionen.

In Bezug auf aufeinanderfolgende Aktionen kann der Roboter fünf aufeinanderfolgende Sprünge im Stil der Feier von Cristiano Ronaldo ausführen, ohne dass die Stabilität oder der Aktionsstil merklich verloren gehen. Diese Ergebnisse zeigen, dass die in der ersten Phase erlernten Bewegungsfähigkeiten nicht nur auf echte Hardware übertragen werden können, sondern auch eine hohe dynamische Leistung in komplexen, kontaktreichen Außenumgebungen beibehalten.

2. Natürlichkeitsgrad von Gehen und Laufen

Um den Natürlichkeitsgrad der Aktionen zu bewerten, hat das Forschungsteam eine Nutzerstudie mit 77 Teilnehmern organisiert. Die Teilnehmer haben 20 Gruppen von Geh- und Laufsequenzen von BeyondMimic und dem nativen Controller von Unitree angesehen und ausgewählt, welche Gruppe menschenähnlicher und natürlicher aussieht.

Das Forschungsteam hat schließlich 1539 gültige Auswahlmöglichkeiten erhalten. Insgesamt erhielt BeyondMimic eine Präferenzrate von 70,8 %. Betrachtet man die Gangarten getrennt, liegt die Präferenzrate von BeyondMimic bei Gehaktionen bei 57,0 % und bei Laufaktionen bei 84,7 %.

Wenn der Roboter während des Gehens leicht von Menschen gestützt wird, behält er eine gewisse Nachgiebigkeit bei, hält an und stabilisiert sich an Ort und Stelle; nachdem die äußere Kraft aufgehoben wurde, nimmt er das Gehen wieder reibungslos auf. Diese Reaktion vermeidet steife oder übertriebene Reaktionen und zeigt zudem die Anpassungsfähigkeit des Controllers an äußere Störungen jenseits natürlicher Bewegungen.

3. Bewegungswechsel und Fähigkeitskombination bei unbekannten Aufgaben

Diese Arbeit befasst sich auch damit, ob BeyondMimic in der Lage ist, in der Inferenzphase die erlernten Fähigkeiten gemäß verschiedenen Zielen zu organisieren. Das Forschungsteam hat Aufgaben wie Geschwindigkeitsbefehle, Wegpunktnavigation, Keyframe-Aktionseinfügung und Hindernisvermeidung getestet.

In Experimenten mit befehlsgesteuerten Bewegungen empfängt das System Ziele wie Lineargeschwindigkeit, Giergeschwindigkeit oder Wegpunkte. Bei unterschiedlichen Ausgangspositionen können Roboter glatte Trajektorien erzeugen, um die Zielpunkte zu erreichen. Bei Eingaben über Joystick kann es omnidirektionale Geschwindigkeitsbefehle verfolgen und nach großen äußeren Störungen wie Tritten weiter auf das Ziel zusteuern.

In Tests über längere Distanzen läuft der Roboter kontinuierlich mehr als 50 Meter entlang einer Rennstrecke. Simulationsbewertungen zeigen, dass die durchschnittlichen Geschwindigkeitsverfolgungsfehler für Gehen und Laufen 12,14 % bzw. 13,65 % betragen. Bei niedrigeren Geschwindigkeitsbefehlen kann die Strategie stabiles Gehen oder leichtes Joggen erzeugen; mit der Änderung der Zielgeschwindigkeit kann der Roboter reibungslos vom Gehen zum Laufen übergehen, ohne dass die Strategie manuell gewechselt werden muss.