Der größte blinde Fleck bei der Bewertung von Weltmodellen wurde von diesem neuen Standard aufgedeckt

Haben Weltmodelle wirklich ein Gedächtnis?

Stellen Sie sich vor, Sie gießen gerade Wasser in eine Glasflasche. Sie wenden dann Ihren Blick kurz nach draußen und schauen wieder zurück. Der Wasserstand in der Flasche sollte sich inzwischen geändert haben. Dies ist ein Grundwissen, das selbst ein dreijähriges Kind beherrscht: Wenn etwas nicht mehr im Blickfeld ist, bedeutet das nicht, dass es verschwunden ist, geschweige denn, dass es aufhört, sich zu verändern. In der Psychologie wird diese Fähigkeit als "Objektpermanenz (object permanence)" bezeichnet und ist eine der ersten kognitiven Fähigkeiten, die beim Menschen entstehen.

Für die derzeit fortschrittlichsten Videogenerierungsmodelle ist diese Aufgabe jedoch nicht einfach.

In den letzten zwölf Monaten ist das Konzept des "Weltmodells" zu einem der heißesten Schlagwörter im Bereich der Videogenerierung geworden. Von Sora bis hin zu mehreren chinesischen Videogroßmodellen betonen die Hersteller immer wieder, dass ihre Produkte nicht nur "schöne Bilder generieren", sondern "das Laufwerk der realen Welt simulieren". Ein Kernkriterium für die Qualität eines Weltmodells ist dabei, ob es eine ähnliche kognitive Fähigkeit wie die menschliche "Objektpermanenz" aufweist: Kann das Modell die Identität eines Objekts behalten, wenn es vorübergehend aus dem Blickfeld verschwindet und sich während der Verdeckung physikalisch verändert? Kann es den Zustand des Objekts vorhersagen und ihn korrekt wiederherstellen, wenn das Objekt erneut sichtbar wird?

Bisher war es der Branche nicht gelungen, diese Fähigkeit präzise zu testen. Die meisten Benchmarks bewerten nur die Konsistenz zwischen den Frames, wenn das Objekt ständig sichtbar ist. Die wenigen Tests, die Verdeckungen berücksichtigen, beziehen sich meist auf statische Szenarien (bei denen sich die Umgebung während des Verschwindens des Objekts nicht ändert) und können daher die Fähigkeit des Modells, die dynamische Welt zu erinnern und zu simulieren, nicht validieren.

Um dieses Problem zu adressieren, haben Forscher aus Harvard University, MIT, IBM, Boston University, Google, JHU, CMU und dem Kempner Institute einen neuen diagnostischen Benchmark vorgeschlagen: MemoBench. Dies ist der erste Benchmark für die Modellierung der Welt in dynamischen Umgebungen, der das "Verschwinden - Wiedererscheinen" von Objekten testet und wurde von der renommierten Konferenz für Computervision ECCV 2026 akzeptiert. Der erste Autor, Haoyu Chen, ist ein Erstsemesterstudent im Fachbereich Computational Science and Engineering an der Harvard University und arbeitet unter der Leitung von Yilun Du, einem Assistentenprofessor für Informatik an der Harvard University.

Titel der Studie: MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

Link zur Studie: https://arxiv.org/abs/2606.27537

Projekt-Website: https://memobench-team.github.io/

Code: https://github.com/MemoBench-Team/MemoBench

Datenbank: https://huggingface.co/datasets/tonyc54/MemoBench

Basierend auf 360 hochwertigen Ground-Truth-Videos und einer automatisierten Bewertungsmethode sowie einem semantischen VQA-System (Visual Question Answering) wurden 10 führende Weltgenerierungsmodelle getestet. Die Ergebnisse zeigen deutlich, dass die aktuelle Technologie in Bezug auf die Gedächtniskonsistenz noch erhebliche Schwächen aufweist: Kein einziges Modell erreichte einen "Objekt-Wiedererscheinen-Score" von über 0,6 (auf einer Skala von 0 bis 1). Das bedeutet, dass kein Modell in der Lage ist, ein verschwundenes Objekt zuverlässig zu "merken, wiederzuerkennen und korrekt zu verändern".

Diese Ergebnisse führten das Forschungsteam zu folgendem Schluss: Auch wenn aktuelle Videogenerierungsmodelle visuell kohärente Bilder produzieren können, sind sie fast unfähig, den Zustand eines Objekts korrekt wiederherzustellen, der es während des "Verschwindens" hätte durchlaufen müssen. Dieser Befund verdeutlicht die deutlichen Unterschiede zwischen "realistischen Bildern generieren" und "die Welt wirklich verstehen" und bietet einen quantifizierbaren Maßstab für die Entwicklung zukünftiger Weltmodelle.

Die Welt "merken": Eine unabdingbare Fähigkeit für Weltmodelle

In den letzten Jahren hat sich die Videogenerierungstechnologie rapide weiterentwickelt. Die Modelle können inzwischen hochauflösende, zeitlich kohärente Videos generieren und werden zunehmend als "Welt-Simulatoren" betrachtet, die in Anwendungsbereichen wie autonomem Fahren, Robotik und Embodied AI die Fähigkeit zur Umgebungsvorhersage bieten.

Aber die reale Welt hält nicht an, wenn wir unseren Blick wenden: Eiswürfel schmelzen weiter, Feuer brennt weiter, Menschen gehen weiter, und Papier, das mit Flüssigkeit in Kontakt kommt, wird weiter benetzt...

Ein realer Datensatz aus der MemoBench-Datenbank

Ein wirklich qualitativ hochwertiges Weltmodell sollte eine ähnliche kognitive Fähigkeit wie die menschliche "Objektpermanenz" aufweisen: Selbst wenn ein Objekt vorübergehend aus dem Blickfeld verschwindet, sollte das Modell seine Identität, Position und Zustand beibehalten und die Veränderungen, die es während der Verdeckung durchmacht, korrekt vorhersagen können.

Genau dies ist jedoch ein Kernproblem der aktuellen Bewertungssysteme. Die meisten bestehenden Videogenerierungs-Benchmarks bewerten nur die Konsistenz zwischen den Frames, wenn das Objekt ständig sichtbar ist. Die wenigen Tests, die Verdeckungen berücksichtigen, beziehen sich meist auf statische Szenarien (bei denen sich die Umgebung während des Verschwindens des Objekts nicht ändert). Daher können diese Tests nur die Fähigkeit des Modells, das ursprüngliche Aussehen des Objekts wiederherzustellen, validieren, aber nicht seine Fähigkeit, die dynamische Welt zu erinnern und zu simulieren.

Wir können uns nie sicher sein: Wenn ein Objekt erneut im Bild erscheint, hat das Modell wirklich "die Welt und ihren Zustand gemerkt und aktualisiert", oder hat es einfach "ein scheinbar plausibles Bild neu generiert"?

MemoBench: Ein neuer Benchmark für die Bewertung von Weltmodellen

Kernkonzept: Das "Sichtbar - Verschwinden - Wiedererscheinen"-Paradigma

Die bestehenden Videogenerierungs-Benchmarks (wie VBench, WorldScore usw.) bewerten hauptsächlich die visuelle Qualität, die physikalische Konsistenz oder die Kamerasteuerung. Sie evaluieren fast ausschließlich Objekte, die ständig im Bild sichtbar sind. Wenn ein Objekt aus dem Bild verschwindet, wird es in den meisten Fällen in statischen Szenarien getestet, ohne die dynamischen Veränderungen während der Verdeckung zu berücksichtigen.

Um diese Lücke zu schließen, hat MemoBench ein neues Bewertungs-Paradigma eingeführt: Visible–Disappear–Reappear (Sichtbar - Verschwinden - Wiedererscheinen, abgekürzt als V-D-R). Mit dieser einfachen dreistufigen Struktur kann das Modell auf seine Fähigkeit getestet werden, den Zustand eines Objekts auch außerhalb des Blickfelds aufrechtzuerhalten.

Jeder Testfall folgt streng einem einheitlichen physikalischen Schema:

Visible (Sichtbar): Das Zielobjekt ist vollständig im Blickfeld und befindet sich in einem kontinuierlichen physikalischen Veränderungsprozess, z. B. ein laufender Mensch, ein schmelzender Eiswürfel oder ein umgekipptes Pulver. Das Modell kann den Anfangszustand und die Veränderungsrichtung des Objekts beobachten.

Disappear (Verschwinden): Die Kamera bewegt sich durch Translation, Drehung oder eine U-förmige Kurve so, dass das Zielobjekt vollständig aus dem Blickfeld verschwindet. Während dieser Zeit setzt der physikalische Prozess unverändert fort und entwickelt sich gemäß den Naturgesetzen.

Reappear (Wiedererscheinen): Die Kamera kehrt in den entsprechenden Bereich zurück, und das Zielobjekt erscheint erneut im Bild. Das Modell muss den aktualisierten Zustand des Objekts, einschließlich Position, Form und Fortschritt der physikalischen Veränderung, korrekt wiederherstellen und mit dem realen Entwicklungsergebnis übereinstimmen.

Übersicht über MemoBench. Die ersten beiden Zeilen zeigen eine synthetische "Sichtbar - Verschwinden - Wiedererscheinen"-Sequenz und die dazugehörige Kameratrajektorie. Die Zeilen 3 und 4 zeigen eine reale Zustandsänderungssequenz (Pulverumkippen). MemoBench umfasst 196 synthetische und 164 reale Videosequenzen, die mit automatisierten Metriken und einem LLM-basierten VQA-System bewertet werden.

Dieses scheinbar einfache Paradigma testet die Kernfähigkeit eines Weltmodells: Das Modell muss nicht nur Frame für Frame Bilder generieren, sondern auch einen kontinuierlich sich entwickelnden Weltzustand außerhalb des Blickfelds aufrechterhalten.

Es testet gleichzeitig die visuellen Gedächtnis-, Zustandsaktualisierungs- und dynamischen Vorhersagefähigkeiten und ist somit ein direkter Test für die "Qualität der Modellierung der realen Welt".

Datenaufbau: Synthetische Szenarien und reale Materialien

Basierend auf diesem Paradigma hat MemoBench zwei parallele Datenpipelines aufgebaut, die insgesamt 360 hochwertige Ground-Truth-Videos in einer Auflösung von 1920×1080 Pixeln enthalten, sowie vollständige geometrische Annotationen und Bewertungswerkzeuge:

Synthetische Teilmenge (196 Videos): Diese Videos wurden in der Unreal Engine 5 gerendert und umfassen 5 Umgebungsgruppen und 14 Sub-Szenarien, einschließlich U-förmigen Kurven, Vorwärtsbewegungen, Kopfbewegungen und vertikalen Bewegungen. Jedes Video enthält RGB-Bilder, Tiefeninformationen, Kameraintrinsika und Kameraposen für jeden Frame, was eine präzise geometrische Bewertung ermöglicht und insbesondere die räumliche Gedächtnisfähigkeit bei großen Blickwinkeländerungen testet.

Synthetische Daten: 14 Szenarien aus 5 Kategorien, gerendert in der Unreal Engine 5.

Reale Teilmenge (164 Videos): Diese Videos wurden in einer kontrollierten Innenumgebung aufgenommen und umfassen 7 Gruppen und 30 Arten von physikalischen Zustandsänderungen, wie z. B. Auflösung, Verbrennung, Diffusion, chemische Reaktionen, viskoses Fließen, Schaumentwicklung und mechanische Verformungen. Diese Prozesse, die von realen Materialeigenschaften wie Viskosität, Elastizität und Wärmeleitung abhängen, sind schwer mit Spiel-Engines zu simulieren und dienen speziell dazu, die Genauigkeit des Modells bei der Erinnerung an reale physikalische Dynamiken zu testen.

Reale Daten: Aufnahmen in einer kontrollierten Innenumgebung, die 30 Arten von physikalischen Zustandsänderungen aus 7 Kategorien umfassen.

Alle Proben wurden manuell annotiert, um die beiden Schlüssel-Frames "vollständiges Verschwinden" und "vollständiges Wiedererscheinen" des Objekts genau zu markieren. Dies ermöglicht es, die drei Phasen "Sichtbar (V)", "Verschwinden (D)" und "Wiedererscheinen (R)" präzise zu definieren und bildet die Grundlage für alle nachfolgenden Bewertungsmetriken.

Der Datenaufbereitungsprozess von MemoBench

Bewertungsmethoden: Automatisierte Metriken + VQA

MemoBench hat zwei komplementäre Bewertungssysteme entwickelt: Automatisierte quantitative Metriken und ein semantisches VQA-System. Dadurch wird sowohl die Pixelgenauigkeit als auch die semantische Korrektheit berücksichtigt, um die Einseitigkeit einzelner Metriken zu vermeiden.

Die automatisierten Metriken umfassen drei Dimensionen, und alle Kernwerte werden auf einen Bereich von 0 bis 100 normiert. Sie testen die folgenden Fähigkeiten eines Weltmodells:

Allgemeine Videokraft: Dies umfasst visuelle Qualität, Bewegungsglätte, Objektidentitätskonsistenz und 3D-Geometriekonsistenz und misst die grundlegende Generierungsfähigkeit des Modells.

Spezifische Gedächtnis-Metriken: Dies ist der Kern der Bewertung. Der "Objekt-Wiedererscheinen-Score" (ORS) misst über das