Neuer Durchbruch bei Weltmodellen: Die Faulheitsrate sinkt um 85,7 %

Wenn ein Weltmodell den Prozess der Roboteroperation vorhersagt, kann es die physikalische Konsistenz der Ziele aufrechterhalten, um unbegründete Vervielfältigung, Verschwinden oder Verformung der Ziele zu vermeiden?

Die derzeit gängige Methode basiert auf vortrainierten Videogenerationsmodellen, führt überwachtes Feintuning (SFT) auf den Daten der Roboteroperation durch und generiert nachfolgende Interaktionsvideos basierend auf Bedingungen wie anfänglichen Beobachtungen und Aufgabenanweisungen. Das Training erfolgt hauptsächlich durch visuelle Rekonstruktion, damit die generierten Ergebnisse mit den Demonstrationsvideos übereinstimmen.

Dennoch weist die Prozessüberwachung dieser Art von Training immer noch Einschränkungen auf: Der Zielbereich ist relativ klein, sodass lokale Fehler leicht durch den globalen Rekonstruktionsverlust verdünnt werden; gleichzeitig beschränkt die visuelle Rekonstruktion hauptsächlich die Ähnlichkeit zwischen dem Bild und dem Demonstrationsvideo, ohne explizit zu verlangen, dass die Zielrepräsentationen in benachbarten Frames derselben physischen Instanz entsprechen.

Zu diesem Zweck hat das Advanced Technology Research Institute der China Merchants Group in Zusammenarbeit mit der Nanyang Technological University (NTU) ein Überwachungsframework für die physische Evolution namens EVEWorld vorgeschlagen, das durch instanzgeführte Wiederherstellung (IGR) und zeitliche Instanzausrichtung (TIA) die Instanzkonsistenz des Operationsziels bzw. die Konsistenz zwischen Frames stärkt.

Link zum Papier: https://arxiv.org/pdf/2610.03374

Sie definierten die unbegründete Vervielfältigung oder das Verschwinden von Zielen während des Operationsprozesses als Model Laziness und schlugen die Kennzahl „Modell-Faulheitsrate (MLR)“ vor, die darauf abzielt, den Anteil solcher anhaltender Mengenanomalien in den bewertbaren generierten Videos zu messen.

Die Ergebnisse zeigen, dass auf dem WorldArena 2.0 Track 1 das auf FlowWAM basierende SupervisionWM 70,17 Punkte erzielt, den 6. Platz im JEPA Similarity-Ranking und den 17. Platz im Gesamtranking belegt; auf DreamGenBench senkt EVEWorld im Vergleich zum gewöhnlichen SFT die MLR von 11,11 % auf 1,59 %, was einem relativen Rückgang von 85,7 % entspricht; der Gesamtwert von Gemini-IF steigt relativ um 13,6 %, was die Einhaltung von Anweisungen verbessert und gleichzeitig die Anomalien der Zielmenge reduziert.

Diese Arbeit integriert den Evolutionsprozess des Operationsziels in die Nachtraining-Überwachung des Weltmodells und liefert experimentelle Grundlagen für die Verbesserung der Zielkonsistenz und der Zuverlässigkeit der Interaktionsvorhersage.

1. Forschungsmethoden

EVEWorld verbessert die physikalische Konsistenz des Operationsziels durch zwei Module: Die instanzgeführte Wiederherstellung (IGR) stärkt die Instanzkonsistenz, und die zeitliche Instanzausrichtung (TIA) stärkt die Konsistenz zwischen Frames. MLR wird verwendet, um anhaltende Anomalien der Zielmenge in generierten Videos zu messen.

Abbildung｜Gesamtframework von EVEWorld. IGR erstellt Trainingspaare mit Mengenstörungen und stärkt die Rekonstruktionsüberwachung für die Wiederherstellung relevanter Bereiche; TIA führt instanzübergreifende Frame-Matching und Feature-Übertragung in ausgewählten Transformer-Schichten durch.

1. IGR: Die korrekte Anzahl von Zielen wiederherstellen

Der Kern von IGR besteht darin, zuerst Anomalien der Anzahl zu erstellen und dann das Modell zu trainieren, das ursprüngliche Video wiederherzustellen. Der Trainingsprozess unterteilt sich in:

• Ziele lokalisieren. Gemäß den Aufgabenanweisungen werden die Operationsobjekte im Demonstrationsvideo gefunden.
• Störungen erstellen. Das Ziel wird dupliziert und an eine gültige Position platziert, um Trainingsdaten mit einer zusätzlichen Zielinstanz zu erhalten.
• Wiederherstellung trainieren. Das gestörte Video wird als Eingabe verwendet, und das ursprüngliche saubere Video wird als Wiederherstellungsziel festgelegt, damit das Modell lernt, zusätzliche Instanzen zu korrigieren.

Während des Trainings beträgt das relative Rekonstruktionsgewicht der wiederherstellungsrelevanten Bereiche das 3-fache der gewöhnlichen Bereiche, um lokale Fehlersignale zu verstärken. Für Stichproben, bei denen keine gültige Störung erstellt werden kann, wird das ursprüngliche saubere Video für das Training verwendet.

Abbildung｜Beispiel für die Gewichtung von IGR-Bereichen.

2. TIA: Die Konsistenz des Ziels zwischen Frames beschränken

Wenn die Anzahl der Ziele korrekt ist, können Objekte immer noch Verformungen, Identitätsdrift oder plötzliche Verschiebungen aufweisen. Zu diesem Zweck haben sie das TIA-Modul in ausgewählten Schichten des Video-Diffusion-Transformers integriert, um die Evolution desselben Ziels zwischen benachbarten Frames durch Matching und Übertragung von Features benachbarter Frames zu beschränken:

• Feature-Matching. In den angrenzenden Bereichen des nächsten Frames werden Features gesucht, die denen des vorherigen Frames ähneln.
• Feature-Übertragung. Basierend auf der Matching-Beziehung werden die Feature-Informationen des vorherigen Frames an den aktuellen Frame übermittelt.
• Aktualisierung und Überwachung. Die übermittelten Informationen werden verwendet, um die Features des aktuellen Frames zu aktualisieren, und die entsprechende Beziehung desselben Ziels in benachbarten Frames wird während des Trainings überwacht.

Die für das TIA-Training erforderliche Ziellokalisierung wird in der Offline-Phase abgeschlossen. Während der Inferenz führt TIA das Matching und die Übertragung direkt anhand der versteckten Features des Modells durch.

3. MLR: Anhaltende Anomalien der Anzahl messen

MLR verwendet die Anzahl der Ziele in der anfänglichen Beobachtung als Referenz, um zu beurteilen, ob im generierten Video anhaltende Abweichungen der Anzahl auftreten. Die Bewertung erfolgt in drei Schritten:

1. Anzahl statistisch erfassen. Ziele im anfänglichen Frame und zu nachfolgenden Abtastzeitpunkten identifizieren und die Anzahl der Instanzen vergleichen.

2. Verdeckung prüfen. Nachweisen der Verdeckung durch Roboter bei zu geringer Anzahl von Zielen prüfen, um die durch Verdeckung verursachte zu geringe Anzahl auszuschließen; zu hohe Anzahl von Zielen wird als Anomalienachweis beibehalten.

3. Anhaltendes Verhalten beurteilen. Wenn die Anzahl zu mehreren aufeinanderfolgenden Abtastzeitpunkten vom Anfangswert abweicht, wird dieses Video als anomal markiert.

Schließlich wird der Anteil anomaler Videos an den bewertbaren Videos statistisch erfasst, um den MLR-Wert zu erhalten.

Abbildung｜Beispiel für die MLR-Bewertung.

2. Experimentelle Ergebnisse

Sie testeten die Konsistenz der Zielinstanz und die Leistung bei der Einhaltung von Anweisungen von EVEWorld auf DreamGenBench und untersuchten die Generalisierungsfähigkeit des Modells bei unbekannten Umgebungen, Objekten und Verhaltensweisen. Durch Komponenten-Ablationsstudien und Tests zur Wiederherstellung von Duplizierungsstörungen analysierten sie weiterhin die jeweilige Wirkung von IGR und TIA sowie den Effekt ihrer Kombination.

Gleichzeitig decken die Experimente auch verschiedene Szenarien, Roboterformen, Trainingsdaten und Modell-Backbones ab, einschließlich der Durchführung von Zero-Shot-Transfer-Bewertungen auf WorldArena 1.0, des Nachtrainings auf AgiBot-Daten mit unterschiedlicher Verteilung und der Bewertung der Bewegungsqualität und Gesamtleistung auf EWMBench; anschließend wurde die Methode auf FlowWAM übertragen, um die übergreifende Backbone-Leistung auf RoboTwin und WorldArena 2.0 zu prüfen. Darüber hinaus belegen Experimente auf PBench Robot durch paarweise Vergleiche mit unterschiedlichen Generationsdauern und zufälligen Seeds die Stabilität der Leistungsverbesserung.

1. Weniger „Faulheit“ des Modells, gleichzeitige Verbesserung der gesamten Einhaltung von Anweisungen

In DreamGenBench sinkt der MLR im Vergleich zum gewöhnlichen SFT relativ um 85,7 %. Gleichzeitig steigen die Gesamtpunktzahlen von Qwen-IF und Gemini-IF um 6,35 bzw. 7,28 Prozentpunkte.

Sie prüften auch die Leistung des Modells bei unbekannten Umgebungen, Objekten und Verhaltensweisen separat:

Die detaillierten Ergebnisse zeigen, dass EVEWorld den Gemini-IF-Wert bei unbekannten Umgebungen und Objekten um 20,69 bzw. 8,33 Prozentpunkte verbessert, und den Qwen-IF-Wert bei unbekannten Verhaltensweisen um 8,51 Prozentpunkte steigert. Beide Gesamtpunktzahlen für die Einhaltung von Anweisungen wurden verbessert.

2. Wie IGR und TIA zusammenwirken

In den Ablationsexperimenten testeten sie nur IGR, nur TIA und die vollständige Kombination separat und verglichen sie mit gewöhnlichem SFT, um die durch die beiden Module verursachten Veränderungen zu prüfen.

Bei alleiniger Verwendung von IGR bzw. TIA beträgt der MLR 4,76 % bzw. 7,94 %; bei gemeinsamer Verwendung sinkt er auf 1,59 %, der gesamte Gemini-IF-Wert erreicht 60,85 %. Beide Kennzahlen sind besser als bei alleiniger Verwendung, was die komplementäre Wirkung der beiden Überwachungsmechanismen zeigt.

3. Generalisierung auf Szenarien und Trainingsdaten

Auf WorldArena 1.0 prüften sie die Leistung des Modells bei unterschiedlichen Szenarien und Roboterformen.

Unter 157 gemeinsam bewertbaren Stichproben wiesen 43 Videos im gewöhnlichen SFT anhaltende Anomalien der Anzahl auf, während diese Zahl bei EVEWorld auf 21 reduziert wurde. Der MLR sinkt relativ um etwa 51,1 %, was zeigt, dass die Verbesserung der Konsistenz der Zielmenge auf verschiedene Interaktionsumgebungen übertragbar ist.

Anschließend führten sie das Nachtraining mit ausgewählten Operationsdaten von AgiBot durch und bewerteten die Ergebnisse auf EWMBench. Bei gleichen Daten und Optimierungsbudgets steigt die Bewegungspunktzahl von EVEWorld relativ um 3,48 %. Auf PBench Robot erzielten sechs paarweise Experimente mit zwei Generationsdauern und drei Gruppen zufälliger Seeds alle positive Gewinne, was die Stabilität der Leistungsverbesserung weiter bestätigt.