Ist Embodied Intelligence in die Ära von Agentic Robotics eingetreten? Die Tsinghua-Universität und UC Berkeley haben das einheitliche Open-Source-RUA-Framework veröffentlicht.

Roboter erleben gerade ihren eigenen Computer Use-Moment.

Am 10. Tag brachte das von Anthropic veröffentlichte Fable 5.2 neue Fortschritte. Im Vergleich zum Vorgängermodell hat seine Fähigkeit zur Steuerung physischer Roboter deutlich zugenommen, und es kann sogar Aufgaben erledigen, für die es zuvor nie speziell trainiert wurde.

Im Simulationsbewertungstest RoboDojo Sim erreichte Fable 5.2 einen Wert von 64,9 % und übertraf damit bei weitem GPT-6 Astra (29,8 %) aus den internen gleichkonfigurierten Tests von Anthropic.

Bereits im September stellte der MIT-Forscher Phillip Isola in der Arbeit „Robot-Use Agents“ fest, dass in Zukunft alle Roboter, die mit dem Internet verbunden sind und Schnittstellen für Sensoren und Aktoren freigeben, zu Werkzeugen werden könnten, die von universellen Agenten aufgerufen werden können.

Dies entspricht auch dem Arbeitsaufteilungsgedanken von System 1 und System 2 im Bereich der verkörperten Intelligenz: Das universelle Modell ist für die Hochschlussfolgerung und Aufgabenplanung zuständig, während die untergeordnete Strategie für die Ausführung spezifischer Aktionen verantwortlich ist. Modelle wie GPT-6 Astra und Fable 5.2 haben die Machbarkeit dieses Ansatzes bereits vorläufig bestätigt.

Um dies jedoch wirklich umzusetzen, müssen noch zwei Schlüsselfragen dringend gelöst werden.

Erstens das Modell. Geschlossene Spitzenmodelle haben bereits gute Fähigkeiten im Roboterbetrieb gezeigt, aber Forscher können die Gewichte nicht direkt abrufen und es ist noch schwieriger, sie mithilfe von Roboter-Interaktionsdaten kontinuierlich zu trainieren.

Zweitens das System. Verschiedene Roboter unterscheiden sich stark in ihrer Hardwarestruktur, ihren Sensoren und Steuerschnittstellen, und Simulationen unterscheiden sich auch von realen Umgebungen. Wenn für jeden angeschlossenen Roboter ein neues Werkzeugsystem entwickelt werden muss, bleiben die Kosten für die umgebungsübergreifende Migration und skalierte Experimente hoch.

Daher benötigt RUA eine einheitliche Interaktionsschnittstelle, die die untergeordneten Unterschiede zwischen verschiedenen Hardware und Umgebungen verbirgt, sodass das Modell Wahrnehmungsinformationen auf konsistente Weise abrufen, Steuerungswerkzeuge aufrufen und Ausführungsrückmeldungen empfangen kann.

Kürzlich hat das Forschungsteam von Ding Ning, Liu Zhiyuan, Xu Mengdi und Zhou Bowen von der Tsinghua-Universität gemeinsam mit dem Team von Pieter Abbeel, Professor an der University of California, Berkeley und Co-Direktor des Berkeley Artificial Intelligence Research Laboratory (BAIR), uni-robot-agent eingeführt und als Open-Source veröffentlicht. Es soll ein einheitliches, modulares Harness für Robot-Use Agent (RUA) aufbauen, sodass Sprachmodelle verschiedene Roboter und Simulationsumgebungen über standardisierte Werkzeugschnittstellen steuern können.

Link zur Arbeit: https://arxiv.org/pdf/2611.01560

Link zum Blog: https://openrua.ai/uni-robot-agent

Link zum Code: https://github.com/Open-RUA/uni-robot-agent

Dieses Framework zeigte in praktischen Bewertungen gute Leistungen. Auf dem RoboDojo-Benchmark erzielte das offen gewichtete Modell Qwen3.8-Flash-Next in Kombination mit diesem Framework 31,39 Punkte und übertraf damit den zuvor von RoboDojo offiziell veröffentlichten Wert von 28,97 Punkten für GPT-6 Astra + RoboProbe. Im selben Framework erreichte GPT-6 Astra weitere 51,90 Punkte.

In der Bewertung von 19 Aufgaben mit echten Geräten erzielte Qwen, das nicht speziell für Aufgaben feinabgestimmt war, 53,50 Punkte und lag damit 5,75 Punkte bzw. 10 Punkte vor dem feinabgestimmten π₀.₅ und dem Null-Shot-Dream-1. GPT-6 Astra erzielte in Kombination mit diesem Framework 80,50 Punkte.

Neben der Leistungsbewertung testete diese Arbeit auch, in welchem Maße das Model Roboter steuern kann, und analysierte die Gründe für Fehler, Fähigkeitslücken und Betriebskosten.

Darüber hinaus möchten sie eine universelle Basis aufbauen, damit Open-Source-Modelle an verschiedene Roboter angeschlossen werden können und den Weg für nachfolgendes Training und lokale Bereitstellung ebnen.

Warum ist die einheitliche Schnittstelle die Grundlage für die umgebungsübergreifende Generalisierung?

Im Bereich der Coding Agent kann dasselbe Werkzeug für verschiedene Programmieraufgaben verwendet werden. Das Modell liest Dateien über ähnliche Schnittstellen, führt Code aus und überprüft die Ausführungsergebnisse, sodass vorhandene Erfahrungen im Umgang mit Werkzeugen in verschiedenen Umgebungen wiederverwendet werden können.

Der Roboterbetrieb ist mit mehr Hardwareunterschieden verbunden. Selbst wenn es sich um das Greifen von Objekten handelt, können sich die Aktionsschnittstellen von Einarm- und Zweiarmerobotern unterscheiden. Das Modell muss neue Parameter, Koordinatensysteme und Steuerungsregeln verstehen, und die vorhandenen Erfahrungen im Aufrufen von Werkzeugen lassen sich nur schwer direkt übertragen.

uni-robot-agent möchte diese Unterschiede durch einheitliche Werkzeugschnittstellen überbrücken.

Zum Beispiel muss der Einarmroboter Franka Blöcke positionieren, greifen und stapeln, der Zweiarmeroboter ALOHA muss zwei mechanische Arme koordinieren, um Objekte zu übergeben, und der echte Zweiarmeroboter YuMi muss die Ausrichtung und das Einstecken von Stiften in Buchsen steuern. Trotz unterschiedlicher Hardwarestrukturen, Aktionsräume und Aufgabenziele kann das Modell einheitliche Schnittstellen für Wahrnehmung, Bewegung, Fähigkeiten und Aufgabensteuerung aufrufen, während untergeordnete Adapter die Steuerungsunterschiede verschiedener Roboter verarbeiten.

Mit anderen Worten: Das Modell kann konsistente Regeln für den Aufruf von Werkzeugen beibehalten. Beim Anschluss an eine neue Umgebung müssen Entwickler hauptsächlich den entsprechenden Adapter implementieren und die Änderungen an der übergeordneten Agent-Logik reduzieren.

Wiederverwendungsrate von Werkzeugen in verschiedenen Umgebungen.

Die einheitliche Schnittstelle hat noch eine tiefere Bedeutung.

Wenn verschiedene Umgebungen dieselbe Werkzeugsemantik, Parametereinheiten und Rückmeldeformate verwenden, lassen sich die Interaktionsspuren, die Roboter bei der Ausführung von Aufgaben erzeugen, leichter zusammenführen. Die Erfahrungen, die das Modell beim Einarmstapeln, Zweiarmeübergabe und Einstecken auf echten Geräten sammelt, können in dasselbe Datensystem integriert werden.

Dieses Design schafft Bedingungen für das umgebungsübergreifende Agent-Training. Forscher haben die Möglichkeit, Interaktionsdaten von verschiedenen Robotern zu nutzen, um dasselbe Modell zu trainieren und übertragbare Fähigkeiten im Umgang mit Werkzeugen und im Betrieb zu erlernen.

Wie ist uni-robot-agent aufgebaut?

Das Design von uni-robot-agent dreht sich um zwei Ziele. Erstens eine einheitliche Grundlage für das umgebungsübergreifende Agent-Training bereitzustellen und zweitens die vorhandenen Roboterbetriebsfähigkeiten universeller Modelle so objektiv wie möglich zu bewerten.

Aus diesem Grund unterteilt das Forschungsteam das System in fünf Ebenen: Agent, Orchestrierung, Tools, Services und Backends.

Die Agent-Ebene ist für die Interaktion mit dem Modell sowie die Verwaltung des Kontexts und der Aufgabenentscheidung zuständig; die Orchestrierungsebene ist für die Planung von Werkzeugsanforderungen verantwortlich; die Tools-Ebene stellt dem Modell einheitliche Betriebsschnittstellen zur Verfügung; die Services-Ebene verwaltet die Ausführungsressourcen; die Backends-Ebene verbindet spezifische Roboter, Simulatoren und Modellimplementierungen.

Diese modulare Struktur unterstützt das unabhängige Ersetzen von Modell, Werkzeugen und Roboter-Backends. Forscher können die Leistungen verschiedener Modelle vergleichen, ohne das gesamte System neu zu schreiben, und Interaktionsdaten mit konsistenter Struktur sammeln.

Eine objektive Bewertung erfordert, dass die Bedingungen so nah wie möglich an echten Bereitstellungsszenarien liegen. Simulationsumgebungen können direkt die genaue dreidimensionale Position von Objekten, CAD-Modelle, versteckte Szenenzustände und sogar die Beurteilung des Erfolgs einer Aufgabe liefern – Informationen, die bei echten Robotern normalerweise nicht direkt verfügbar sind. Wenn das Modell diese privilegierten Informationen nutzt, um Aufgaben zu erledigen, ist es schwer zu beurteilen, wie viel Fähigkeit es tatsächlich in visueller Verständnis, räumlicher Schlussfolgerung und Betrieb hat.

Daher stellt uni-robot-agent in den wichtigsten Simulationsexperimenten dem Modell nur RGB-Bilder, Kamerakalibrierung, Roboterstatus und Aufgabenanweisungen zur Verfügung. Es liefert keine Tiefenwahrheiten, CAD-Assets von Objekten, versteckte Szenenmarkierungen oder Rückmeldungen von Aufgabenprüfgeräten und erlaubt auch keinen externen Netzwerkzugriff. Gleichzeitig beschränkt das Forschungsteam Abkürzungen, die speziell für Bewertungsaufgaben angepasst sind, um zu vermeiden, dass das Modell durch vorgefertigte Aufgabenantworten hohe Punktzahlen erzielt.

Wie kann ein universelles Modell ohne diese zusätzlichen Informationen komplexe Roboteroperationen ausführen? Der Schlüssel liegt darin, die vom Modell abgerufenen Informationen angemessen zu organisieren und die zuverlässige Ausführung von Werkzeugen zu gewährleisten.

Wichtige Designentscheidungen. Jede Spalte zeigt zwei kooperierende Designs, die jeweils zur Gewährleistung der Konsistenz des physischen Zustands, der Genauigkeit der Aktionsausführung und der Kontextverwaltung dienen.

Zum Beispiel muss das Modell beim Greifen eines Objekts durch den Roboter die Greifkoordinaten anhand des Bildes und der Position des mechanischen Arms berechnen. Wenn das Bild aus dem vorherigen Moment stammt, der Zustand des mechanischen Arms jedoch bereits aktualisiert wurde, kann das Berechnungsergebnis abweichen.

uni-robot-agent bindet Kamerabilder, Kalibrierungsinformationen und Roboterzustände an denselben Zeitpunkt, um Positionsabweichungen durch asynchrone Zustände zu reduzieren. Bei der Ausführung von Aktionen werden doppelte Operationen durch Anforderungsdeduplizierung vermieden, und der Bewegungszustand des mechanischen Arms wird überwacht, um Aktionsstillstände oder Ausführungsanomalien zu erkennen.

Nach Abschluss der Aktion gibt das System das Ausführungsergebnis und neue Umgebungsbeobachtungen an das Modell zurück, um es bei der Beurteilung zu unterstützen, ob die Aufgabe erfolgreich war und ob die nächste Operation angepasst werden muss.

Um das Problem langer Ausführungszeiten von Roboteraktionen zu lösen, führt das Framework auch asynchrone Ausführung ein. Das Modell kann die Verarbeitung anderer Aufgaben fortsetzen, während einige Werkzeuge laufen, während Bewegungsanforderungen am selben mechanischen Arm nacheinander in der Warteschlange verarbeitet werden, um Befehlskonflikte zu vermeiden.

Diese Designs integrieren die Ingenieurserfahrungen aus dem Roboterbereich in das Harness und reduzieren die Störungen von Informationsfehlausrichtung, doppelten Aktionen und fehlenden Rückmeldungen auf die Modellleistung.

Durch die angemessene Organisation von Informationen und die Bereitstellung zuverlässiger Steuerungswerkzeuge kann uni-robot-agent auch ohne auf privilegierte Simulationsinformationen und aufgabenspezifische Abkürzungen angewiesen zu sein, universellen Sprachmodellen ermöglichen, wettbewerbsfähige Fähigkeiten im Roboterbetrieb zu zeigen.

Experimentelle Validierung: Wie weit können Open-Source-Modelle gehen?

Um die praktische Wirkung des einheitlichen Harness zu überprüfen, führte das Forschungsteam zuerst Simulationsexperimente auf RoboDojo durch.

Dieser Benchmark umfasst 42 Roboterbetriebsaufgaben, die fünf Dimensionen abdecken: Generalisierung, präziser Betrieb, langfristige Ausführung, Gedächtnis und Anweisungen mit offenem Vokabular. Jede Hauptexperimentgruppe führt 252 Bewertungen durch.

Der Einfluss des einheitlichen Harness ist sehr deutlich.