5,83-fache Beschleunigung, PolicyTrim: VLA-Roboter vermeiden Umwege und erledigen Aufgaben schneller

【Einführung】VLA-Modelle können bereits Aufgaben ausführen, aber echte Roboter sind noch langsam! PolicyTrim ist eine Methode zur Optimierung der Ausführungseffizienz von VLA-Robotern ohne erneutes Training. Es hilft Robotern, Aufgaben direkter zu erledigen und die Gesamtgeschwindigkeit zu steigern, indem es zuverlässige Aktionssequenzen erweitert und redundante Schritte reduziert.

Vision-Language-Action (VLA)-Modelle vereinen visuelle Beobachtungen, Sprachbefehle und Roboteraktionen in einem einzigen Strategiemodell, sodass Roboter komplexe Manipulationsaufgaben basierend auf natürlicher Sprache ausführen können.

Von OpenVLA und OpenVLA-OFT bis hin zu π0.5 und GR00T entwickeln sich diese Modelle zu einem wichtigen technischen Ansatz für verkörperte Intelligenz.

Wenn VLA-Modelle jedoch tatsächlich auf Robotern eingesetzt werden, tritt sofort ein kritischer Engpass auf: Die Gesamtzeit, die ein Roboter für die Erledigung einer Aufgabe benötigt, hängt nicht nur davon ab, wie schnell jede Inferenz ist, sondern auch davon, wie viele Inferenzen die Strategie ausführen muss und wie viele echte physische Aktionen erforderlich sind.

Bei mehreren Rollouts derselben Aufgabe weist die Anzahl der Ausführungsschritte des VLA-Modells erhebliche Schwankungen auf, was darauf hindeutet, dass kürzere und direktere Erfolgspfade erreichbar sind, die die aktuelle Strategie jedoch meist nur zufällig findet.

Das Ende der Aktions-Chunks ist unzuverlässig: Das Modell sagt mehrere Aktionen auf einmal voraus, aber die späteren Aktionen neigen dazu, Fehler anzusammeln, sodass das System häufig neu planen muss. Eine erzwungene Verlängerung der Ausführungslänge verringert die Erfolgsrate und erhöht die Anzahl der physischen Schritte.

Die Redundanz physischer Aktionen ist hoch: Selbst wenn die Aufgabe letztendlich erfolgreich ist, kann die Trajektorie zahlreiche Korrektur-, Rücksetz- und Wiederholungsaktionen enthalten.

Daher hängt die Bereitstellungseffizienz von VLA nicht nur von der Inferenzverzögerung pro Schritt ab, sondern vor allem von der Strategieeffizienz (Policy Efficiency): Wie viele Aktionen in einer Vorhersage können sicher ausgeführt werden? Wie viele echte physische Schritte sind wirklich erforderlich, um die Aufgabe abzuschließen?

Die meisten bestehenden Methoden setzen auf der berechnungsseitigen Ebene an, beispielsweise durch visuelles Token-Pruning, Quantisierung, KV-Cache-Wiederverwendung, Destillation oder Optimierung der Inferenz-Engine. Diese Methoden können die Latenz einer einzelnen Inferenz reduzieren, aber wenn die Strategie immer noch zahlreiche redundante physische Schritte erfordert, bleibt die Zeit für die tatsächliche Aufgabenausführung lang.

Das direkte Festlegen einer längeren Ausführung für Aktions-Chunks ist ebenfalls nicht zuverlässig.

Experimente in der Arbeit zeigen, dass bei erzwungener Verlängerung der Aktionsausführungslänge die Erfolgsrate sinken und die Anzahl der physischen Schritte sogar steigen kann. Dies zeigt, dass qualitativ minderwertige Vorhersagen am Ende des Chunks Fehler in die physische Welt einbringen, für deren Behebung der Roboter anschließend weitere Korrekturaktionen benötigt.

Kernfrage: Kann man ohne Einbußen bei der Aufgaben-Erfolgsrate durch Nachtraining erreichen, dass eine vorhandene VLA-Strategie automatisch „Umwege vermeidet“ und Aufgaben mit weniger physischen Schritten erledigt?

Ein Team unter der Leitung von Professor LEI Yinjie von der Sichuan-Universität stellt PolicyTrim vor – ein zweistufiges Reinforcement-Learning-Nachtrainingsframework, das auf „Strategieeffizienz“ abzielt. Es ändert die VLA-Architektur nicht und sammelt keine neuen Expertendaten, sondern optimiert das tatsächliche Ausführungsverhalten des Roboters auf Basis der bereits vortrainierten Strategie weiter.

Projektseite: https://inceptionwang.github.io/PolicyTrim/

Paper-Link: https://arxiv.org/abs/2606.22540

Code-Link: https://github.com/INCEPTIONwang/PolicyTrim

Modell-Link: https://huggingface.co/INCEPTIONwang/PolicyTrim

Die neue Methode erreicht Folgendes:

• 3-fache Aktions-Chunk-Ausnutzung, zuverlässige Ausführung mit längerem Horizont;
• 51,4 % Reduzierung der physischen Schritte, Kürzung redundanter Korrekturaktionen;
• 5,83-fache maximale End-to-End-Beschleunigung bei LIBERO Object/π0.5.

Von „schnellerem Rechnen“ zu „schnellerem Handeln“

Das Kernziel von PolicyTrim besteht nicht darin, die berechnungsseitige Beschleunigung zu ersetzen, sondern eine bisher vernachlässigte Dimension zu ergänzen: die Reduzierung der Anzahl der Vorwärtsinferenzen, die zum Abschluss der Aufgabe erforderlich sind. Es unterteilt die Strategieeffizienz in zwei optimierbare Ziele: zuerst das Erweitern zuverlässiger Aktions-Chunks, dann das Komprimieren redundanter physischer Schritte.

1. Erweiterung zuverlässiger Aktions-Chunks (Reliable Action Chunk Extension)

Viele aktuelle VLA-Strategien geben Aktionssequenzen in Form von Aktions-Chunks aus, aber beim Einsatz werden oft nur die ersten paar Schritte sicher ausgeführt. Die erste Stufe von PolicyTrim verwendet eine dynamische Exploration des Ausführungshorizonts: Derselbe Satz von Rollouts erhält unterschiedliche Akzeptanzraten, sodass das Modell die zuverlässigen Grenzen parallel in kurzen, mittleren und langen Fenstern erforschen kann.

Trajektorien, die die Aufgabe erfolgreich abschließen und ein längeres Ausführungsfenster haben, erhalten eine höhere Belohnung (Reward), was das Modell dazu anregt, die ursprünglich unzuverlässigen Aktionen am Ende des Chunks nutzbarer zu machen.

Die Horizont-Belohnung wird nur aktiviert, wenn innerhalb der Gruppe eine erfolgreiche Trajektorie auftritt, um zu verhindern, dass das Modell in fehlgeschlagenen Fällen blind eine längere Chunk-Länge anstrebt.

2. Redundanzbewusste Schrittreduzierung (Redundancy-Aware Step Reduction)

Nachdem der zuverlässige Horizont erweitert wurde, reduziert die zweite Stufe die Gesamtzahl der physischen Schritte weiter. PolicyTrim führt eine „step-saving reward“ (schrittsparende Belohnung) ein: Je weniger Schritte eine erfolgreiche Trajektorie zur Erledigung der Aufgabe benötigt, desto höher ist die Belohnung.

Die step-saving reward integriert „kürzere, direktere Erfolgstrajektorien“ direkt in das Optimierungsziel.

Die gruppenverankerte Regularisierung unterdrückt nicht reproduzierbare spekulative Abkürzungen und verhindert, dass das Modell nur kurze Pfade anstrebt und dabei die Erfolgsrate beeinträchtigt.

Die sequenzielle Optimierung in zwei Stufen vermeidet, dass sich die beiden Ziele „Verlängerung des Chunks“ und „Verkürzung der Schritte“ gegenseitig stören, und reduziert schließlich die Anzahl der Vorwärtsinferenzen, die zum Abschluss der Aufgabe erforderlich sind.

Experimentelle Ergebnisse

Die Arbeit validiert PolicyTrim auf LIBERO-, ManiSkill-, Meta-World- sowie echten Roboteraufgaben und deckt verschiedene VLA-Architekturen wie π0.5, OpenVLA-OFT und GR00T ab. Die Gesamtergebnisse zeigen, dass PolicyTrim die Ausführungseffizienz erheblich steigert, während die Aufgaben-Erfolgsrate stabil bleibt.

In LIBERO erreicht π0.5 eine maximale 5,83-fache End-to-End-Beschleunigung, während die Erfolgsrate über 98 % gehalten wird.

Ergebnisse über verschiedene Benchmarks hinweg zeigen, dass PolicyTrim auf ManiSkill eine maximale 2,36-fache Beschleunigung und auf Meta-World eine 2,52-fache Beschleunigung erreicht.

Ergebnisse über verschiedene Architekturen hinweg zeigen, dass nach dem erneuten Vortraining von OpenVLA-OFT der vollständige zweistufige Ablauf eine 2,97-fache Beschleunigung erzielt; OpenVLA erreicht auch bei Verwendung nur der zweiten Stufe eine 1,41-fache Beschleunigung.

Qualitativer Vergleich: Weniger Umwege, direktere Trajektorien

Bei zufällig ausgewählten LIBERO-Aufgaben zeigen die Baseline-Modelle oft redundante Korrekturaktionen und Zögerungen/Vibrationen in Zielnähe; die Trajektorien von PolicyTrim sind glatter und direkter, können dieselbe Aufgabe mit weniger physischen Schritten erledigen und reduzieren die Anzahl der physischen Schritte meist auf etwa die Hälfte des Ausgangswerts.

Echter Robotereinsatz: Effizienzgewinne aus der Simulation lassen sich auf die physische Welt übertragen

Die Arbeit validiert PolicyTrim weiter an echten Roboteraufgaben mit einem Agilex-Piper-Manipulator, der mit zwei Intel RealSense D435i-Kameras ausgestattet ist, darunter die drei Aufgaben FlipMug, HangMug und TapeBox. Die Experimente umfassen sowohl eine Standardeinstellung mit festen Zielpositionen als auch eine dynamische Einstellung mit zufälligen Zielstörungen während des Greifvorgangs.

PolicyTrim erhält die Erfolgsrate sowohl in der Standardeinstellung als auch in der dynamischen Störungseinstellung aufrecht oder verbessert sie und verkürzt gleichzeitig die tatsächliche Ausführungszeit erheblich. In der Standardeinstellung für echte Roboter wird durchschnittlich eine 1,86-fache End-to-End-Beschleunigung erreicht.

Die experimentellen Ergebnisse zeigen, dass PolicyTrim nicht nur Benchmark-Metriken optimiert: Bei physischen Robotern kann die Aufgabenabschlusszeit auf etwa die Hälfte der Baseline reduziert werden, und es behält seine Robustheit auch in Szenarien mit dynamischen Störungen bei.

Warum ist PolicyTrim wirksam?

• Effizienzsteigerung auf die Strategie selbst: Es reduziert redundante Aktionen und unnötige Neuplanungen, anstatt nur die Latenz einer einzelnen Inferenz zu senken.

• Kein Training von Grund auf erforderlich: Als Nachtrainingsframework kann es auf Basis vorhandener VLA-Modelle weiter optimiert werden, was die Kosten für Datenerfassung und Training senkt.

• Gleichgewicht zwischen Geschwindigkeit und Erfolgsrate: Die zuverlässige Horizonterweiterung verhindert das blinde Verlängern von Chunks, und die Stabilitätsbeschränkung vermeidet spekulative Abkürzungen auf kurzen Pfaden.

• Kombinierbar mit berechnungsseitiger Beschleunigung: PolicyTrim optimiert die Anzahl der Vorwärtsinferenzen, während Methoden wie VLA-Cache die Dauer jeder einzelnen Inferenz optimieren – die beiden Ansätze sind orthogonal und erzeugen eine kombinierte Beschleunigung.

Der Kerngedanke von PolicyTrim lautet: Für VLA-Roboter ergibt sich die Bereitstellungseffizienz nicht nur aus schnellerer Modellinferenz, sondern auch aus effizienterem Strategieverhalten. Wenn Roboter „Umwege vermeiden“, kann dies ebenfalls zu einer erheblichen Beschleunigung führen.

Referenz: https://arxiv.org/abs/2606.22540

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhiyuan“, Autor: Xinzhiyuan; Redaktion: LRST, veröffentlicht mit Genehmigung von 36Kr.