Eine Studie liefert den unumstößlichen Beweis: Weltmodelle verstehen die physikalischen Gesetze überhaupt nicht, ihr eigener "ChatGPT-Moment" ist noch in weiter Ferne.

In den letzten Jahren sind auf Videogenerierungsmodellen basierende Weltmodelle (World Models) zu einer der am meisten beachteten Forschungsrichtungen im Bereich der künstlichen Intelligenz geworden. Videogenerierungsmodelle wie Sora, Genie, Cosmos und V-JEPA deuten alle auf eine gemeinsame Hypothese hin: Wenn sie genügend viele Videos gesehen haben, könnten sie allmählich eine „physische Intuition“ entwickeln und damit die physische Welt verstehen.

Das Problem besteht jedoch darin, dass die vorhandenen Benchmarks kaum überprüfen können, ob diese Hypothese zutrifft.

Folgen die Videogenerierungsmodelle tatsächlich den physikalischen Gesetzen oder erzeugen sie nur scheinbar korrekte Ergebnisse? Können sie wie Newton mit physikalischen Gesetzen denken, anstatt sich nur wie Aristoteles auf „Intuition“ zu verlassen?

Angesichts dieser Probleme hat das S-Lab-Team der Nanyang Technological University und seine Kooperationspartner den ersten auf physikalischen Gesetzen basierenden Bewertungsbenchmark für Videomodelle Apple-π vorgeschlagen. Die Ergebnisse zeigen, dass die aktuellen Videogenerierungsmodelle noch einen großen Abstand zu einem zuverlässigen universellen Weltsimulator haben, selbst das SOTA-Modell erreicht nur einen Wert von 0,473.

Link zum Papier: https://arxiv.org/abs/2607.16401

Das Forschungsteam weist darauf hin, dass selbst wenn vorhandene Modelle basierend auf dem annotierten ersten Frame ein scheinbar plausibles Bewegungsmuster erzeugen können, dies nicht bedeutet, dass sie die Beziehungen zwischen Objekten wirklich verstanden, physikalische Gesetze erlernt haben oder in der Lage sind, Ergebnisse konsistent nach einheitlichen Bewegungsgesetzen zu erzeugen.

Diese Arbeit zielt darauf ab, zukünftigen Videogenerierungsmodellen dabei zu helfen, die Welt wirklich nach physikalischen Gesetzen zu verstehen und zu simulieren. Allerdings ist der „ChatGPT-Moment“ für Weltmodelle noch weit entfernt. Um dies zu erreichen, müssen Forscher den Videoweltmodellen stärkere Fähigkeiten zum Verstehen von Szenen, umfangreichere Daten für physikalisches Schlussfolgern und ein speziell auf Schlussfolgerung ausgerichtetes Nachtraining verleihen.

Apple-π: Ein Benchmark, der auf physikalischen Gesetzen verankert ist

Apple-π ist der erste Bewertungsbenchmark für Videomodelle, der auf physikalischen Gesetzen basiert. Es verlangt von dem Modell, relevante physikalische Größen wahrzunehmen, die geltenden Gesetze zu formulieren, die den Gesetzen entsprechenden nachfolgenden Bewegungen abzuleiten und zu lokalisieren, in welchem Schritt das Scheitern der Schlussfolgerung auftritt.

Abbildung | Überblick über Apple-π.

Die spezifische Gestaltung ist wie folgt:

1. Videodatensatz: Orchard umfasst 400 Videos zur klassischen Mechanik. Zuerst werden die physikalischen Gesetze und Anfangsbedingungen festgelegt, dann werden die entsprechenden Videos erzeugt oder ausgewählt. Die Aufgaben unterteilen sich in zwei Kategorien: einzelne Gesetze und Kombinationen mehrerer Gesetze, die Gravitation, Kollision, Trägheit und die Verbindung mehrerer Bewegungsabschnitte abdecken, um zu prüfen, ob das Modell Position und Geschwindigkeit kontinuierlich aktualisieren kann.

Abbildung | Überblick über Orchard.

2. Benchmark-Protokoll: Apple-π teilt die Orchard-Fälle in drei Aufgabentypen (Wahrnehmung, Formulierung und Ableitung) und fünf Unterbereiche auf, um die Fähigkeit des Modells zum physikalischen Schlussfolgern punktuell zu bewerten. Wahrnehmung-Text dient dazu, die Zahlen und Annotationen im Bild zu reproduzieren; Wahrnehmung-Grafik dient dazu, die Versuchsobjekte zu lokalisieren und zu behalten. Formulierung-Text wählt die bestimmende Gleichung aus den Kandidatenphysikformeln aus und setzt Variablen ein; Formulierung-Grafik sagt die Position des Objekts zum Zielzeitpunkt voraus und markiert die Geschwindigkeit. Ableitung erzeugt ein vollständiges Bewegungsvideo basierend auf den Anfangsbedingungen des ersten Frames.

Abbildung | Apple-π Benchmark-Protokoll.

3. Bewertungssuite: Apple-π verwendet einen gemischten Bewertungsmechanismus. Die Bewertung durch multimodale große Modelle wird verwendet, um die Plausibilität der Antwort, die Einhaltung des Formats und die Klarheit des Bildes zu bewerten. In den Bereichen mit Objektmasken und wahren Trajektorienwerten werden physikalische Wahrheitsindikatoren verwendet, um die Fehler bei Objektlokalisierung, Trajektorie und Geschwindigkeit zu quantifizieren und zu beurteilen, ob der Bewegungsprozess den physikalischen Gesetzen entspricht. Die Punktzahlen aller Bereiche werden einheitlich auf den Bereich [0,1] normalisiert.

Die Leistung bei physikalischen Ableitungen ist bei allen Modelltypen begrenzt

Das Forschungsteam hat 11 repräsentative Modelle auf dem vollständigen Apple-π-Benchmark bewertet. Die Gesamtergebnisse zeigen, dass Videopretraining, Überwachung durch Schlussfolgerung und einheitliches Verstehen die Wahrnehmungs- und Formulierungsfähigkeit der Modelle verbessern können; dennoch ist die Leistung bei physikalischen Ableitungen bei allen Modelltypen sehr begrenzt.

Im Einzelnen sind die Ergebnisse der proprietären Modelle insgesamt besser als die der grundlegenden quelloffenen Videomodelle. Das Training mit großen Mengen an qualitativ hochwertigen Videos kann nützliche physikalische Prioritäten destillieren. Das durch Videoschlussfolgerung feinabgestimmte VBVR-Wan2.2 zeigt auch eine wettbewerbsfähigere Leistung unter den Videomodellen. Die deutlich überlegenen Ergebnisse von GPT Image 2 und Nano Banana 2 zeigen, dass explizites Verstehen und kontrollierbare visuelle Generierung hilfreich für das Auslesen von Annotationen, die Objektverankerung und die Generierung des letzten Frames sind.

Selbst das SOTA-Modell erreicht nur einen Wert von 0,473, die physikalische Bewegungsschlussfolgerung ist nach wie vor der größte aktuelle Engpass.

Abbildung | Hauptergebnisse.

Um weiterhin die Probleme der Modelle in verschiedenen Phasen des Schlussfolgerungsprozesses zu lokalisieren, teilt Apple-π den Bewertungsablauf in drei Phasen ein: Wahrnehmung, Gesetzesmodellierung und dynamische Ableitung, um die Fähigkeiten der Modelle bei Wahrnehmung, Ausrichtung, Schlussfolgerung und Generierung zu prüfen.

Die Ergebnisse zeigen, dass die Fehler der Modelle nicht nur in der letzten Generierungsphase auftreten, sondern auch in der mittleren Phase des physikalischen Schlussfolgerungsprozesses sichtbar werden: Selbst wenn einige Modelle das Auslesen von Annotationen und die Objektlokalisierung abschließen können, weisen sie deutliche Mängel bei der Auswahl physikalischer Regeln, der Aktualisierung von Zuständen und der Vorhersage nachfolgender Bewegungen auf. Sie verlassen sich hauptsächlich auf das Abgleichen oberflächlicher visueller Muster und haben noch keine stabile Fähigkeit zur Modellierung physikalischer Zustände entwickelt.

Einschränkungen

Obwohl Apple-π die Fähigkeit von Videomodellen zum physikalischen Schlussfolgern detaillierter bewerten kann, weist es noch einige Mängel auf.

Beispielsweise ist der von Apple-π abgedeckte Bereich noch begrenzt. Es konzentriert sich hauptsächlich auf die klassische Starrkörpermechanik, einschließlich gravitationsgetriebener Bewegungen, Kollisionen mit Erhaltung des Impulses, Newtons erstem Gesetz und einfachen Kombinationen dieser Regeln, bewertet aber keine Fluide, Thermodynamik, Elektromagnetismus, Brüche, granularen Medien, biologischen Bewegungen oder Quantenphänomene.

Gleichzeitig sind die von Apple-π abgedeckten Objekte und Szenen nicht umfassend. Die dynamischen Objekte in den Daten umfassen nur Kugeln, Würfel, Zylinder und Kegel. Da eine einzelne feststehende Kamera verwendet wird, prüft es nicht direkt die Konsistenz zwischen mehreren Blickwinkeln oder die Fähigkeit zur Generierung neuer Blickwinkel.

Das Forschungsteam weist darauf hin, dass die Eingabeeinstellungen von Apple-π noch auf Annotationen des ersten Frames angewiesen sind, um die Beziehung zwischen Szenen und physikalischen Größen festzulegen. Daher bewertet der Benchmark hauptsächlich die Fähigkeit des Modells zum physikalischen Schlussfolgern in vorhandenen visuellen Szenen und prüft nicht, ob das Modell eine vollständige physikalische Szene nur anhand von Text erstellen kann.

Darüber hinaus weist die aktuelle Bewertungsmethode auch Mängel auf. MLLM-Schiedsrichter können nicht vollständig beurteilen, ob der physikalische Prozess korrekt ist. Daher muss Apple-π auch Indikatoren wie Masken, Pixel und Geschwindigkeit kombinieren, die wiederum durch die Segmentierungsqualität, Bildunterschiede und Annotationsrauschen beeinflusst werden.

Schließlich weist Apple-π auch Einschränkungen bei der Zeitnormalisierung auf. Die Bewertung geht standardmäßig davon aus, dass die vollständig decodierte Ausgabe der durch die Eingabeaufforderung geforderten physikalischen Dauer entspricht, aber Videogenerierungsdienste können Videocontainer mit fester Länge zurückgeben, die sich nicht nach der angeforderten Dauer richten, sodass die Bewertungsergebnisse dadurch beeinträchtigt werden.

Dieser Artikel stammt aus dem WeChat-öffentlichen Konto „Academic Headline“ (ID: SciTouTiao), Autor: XIA Qiansi, veröffentlicht mit Genehmigung von 36Kr.