Was ist eigentlich das Weltmodell? Wie interpretieren Li Feifei, Zhu Jun und andere es?

Im Jahr 2026 ist das „Weltmodell“ einer der Begriffe im KI-Bereich, zu dem es kaum gemeinsame Übereinstimmungen gibt.

Ein Video, das kontinuierlich generiert werden kann, wird als Weltmodell bezeichnet; eine digitale Umgebung, die sich in Echtzeit mit den Eingaben von Tastatur und Maus ändert, wird ebenfalls als Weltmodell bezeichnet; Systeme, die zukünftige Zustände im latenten Raum vorhersagen, sowie Strategien, die direkt Roboteraktionen ausgeben, verwenden ebenfalls diesen Namen.

Diese Modelle verarbeiten alle Informationen über die Welt, ihre Fähigkeitsgrenzen liegen aber weit auseinander. Die Bilder in generierten Videos können zwar ausreichend realistisch sein, verletzen aber die echten physikalischen Gesetze; ein Roboter kann einen Greifvorgang ausführen, kennt aber möglicherweise nur Objekte, Positionen und Aktionsbahnen im Labor. Es ist schwer, allein anhand von Demos zu beantworten, ob ein System visuelle Korrelationen, physikalische Strukturen oder die Beziehung zwischen Handlungen und Ergebnissen erlernt hat.

Konzeptuelle Verwirrung erhöht die Schwierigkeit der technischen Bewertung. Bildqualität, geometrische Genauigkeit, Vorhersagefähigkeit und Erfolgsrate bei Aufgaben werden vermischt verglichen. Verschiedene Teams scheinen sich um dieselbe Wettbewerbsbahn zu streiten, beantworten aber in Wirklichkeit möglicherweise unterschiedliche Fragen.

Daher kehrt die Forschung zu Weltmodellen zu einer grundlegenden Frage zurück: Welche Fähigkeiten muss ein Modell besitzen, um von der Generierung von Inhalten zum Verstehen und Verändern der Welt zu gelangen?

Li Fei-Fei und World Labs unterteilen Weltmodelle nach ihren Funktionen in Renderer, Simulatoren und Planer, die jeweils Pixel, Weltzustände und Handlungen ausgeben.

Link: https://www.worldlabs.ai/blog/taxonomy-of-world-models

LeCun hingegen plädiert dafür, vorhersehbare Weltstrukturen im abstrakten latenten Raum zu erlernen, damit das Modell Informationen behält, die für Verständnis, Schlussfolgerung und Planung nützlich sind.

Link: https://ai.meta.com/research/vjepa/

Zhu Jun von der Tsinghua-Universität gibt einen dritten Blickwinkel. Bereits im vergangenen Dezember, als Motus veröffentlicht wurde, erläuterte er öffentlich die Gesamtkonzeption des „allgemeinen Weltmodells“. Im März dieses Jahres positionierte er es zudem als Grundlage für die Verbindung der digitalen und der physischen Welt. Einige Monate später vervollständigten Zhu Jun und sein Team diesen Rahmen in dem Aufsatz *General World Models from First-Principles* weiter, definierten die Kernfähigkeiten aus den ersten Prinzipien und lieferten eine Fünf-Stufen-Evolutions-Roadmap.

Link zum Aufsatz: https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf

Technischer Bericht: https://www.shengshu.com/zh/general-world-model/

In dem Aufsatz werden die Kernfähigkeiten des allgemeinen Weltmodells als Verstehen, Vorstellen und Handeln zusammengefasst. Das Modell muss aus historischen Beobachtungen Urteile über die aktuelle Welt bilden, die möglichen Zukünfte vorhersagen, die sich aus verschiedenen Entscheidungen ergeben können, Handlungen durchführen und sich dann anhand neuer Beobachtungen selbst korrigieren.

Entlang dieses Rahmens können Videogenerierung, Echtzeit-Interaktion, Vorhersage im latenten Raum und Robotersteuerung als verschiedene Phasen auf derselben Fähigkeitslinie betrachtet werden.

Wie weit das Weltmodell von der allgemeinen Intelligenz entfernt ist, wird zudem in konkretere Fragen umgewandelt: Kann es eine kohärente Welt aufrechterhalten? Kann es die Folgen von Eingriffen vorhersagen? Kann es aus echten Rückmeldungen lernen? Und kann es allmählich Ziele bilden und komplexere Handlungen organisieren?

Die ersten Prinzipien des Weltmodells

Viele Menschen haben die Erfahrung gemacht, Fahrradfahren zu lernen.

Am Anfang wackelt der Körper ständig. Wenn man sieht, dass der Lenker zu einer Seite kippt und spürt, dass der Körperschwerpunkt zu sinken beginnt, passt man sofort die Richtung an und korrigiert sich weiter anhand neuer Rückmeldungen. Mit zunehmender Übung lernt das Gehirn allmählich vorherzusagen, welches Ergebnis eine bestimmte Handlung bringen wird.

Das ist genau die einfachste Bedeutung des Weltmodells.

1943 stellte Kenneth Craik die These auf, dass Menschen in ihrem Kopf „kleinmaßstäbliche Modelle“ der Realität bilden, um daraus die Ergebnisse verschiedener Handlungen abzuleiten. Das POMDP im Bereich des verstärkenden Lernens beschreibt diesen Prozess weiter: Der Agent empfängt lokale Beobachtungen, schätzt den Weltzustand, führt Handlungen aus und aktualisiert dann seine Urteile anhand neuer Beobachtungen.

Das Team von Zhu Jun fasst diese Logik zu drei Kernfähigkeiten des allgemeinen Weltmodells zusammen, die ineinandergreifen und einen sich ständig aktualisierenden geschlossenen Kreislauf bilden:

Verstehen: Informationen wie Sehen, Sprache, Ton, Tastsinn oder Sensordaten des Roboters zu einem inneren Urteil über die aktuelle Welt zusammenführen;

Vorstellen: Aus dem aktuellen Zustand mehrere mögliche Zukünfte ableiten, insbesondere „Was würde passieren, wenn ich Handlung A statt Handlung B ausführe?“;

Handeln: Vorhersagen in Eingriffe in die digitale oder physische Umgebung umwandeln und die neuen Beobachtungen nach der Handlung dazu nutzen, das Modell zu prüfen und zu korrigieren.

Die drei Kernfähigkeiten des allgemeinen Weltmodells bilden einen geschlossenen Kreislauf: Das Verstehen ist für die Schlussfolgerung des aktuellen Zustands zuständig, das Vorstellen für die Vorhersage möglicher Zukünfte, das Handeln verändert die Welt und liefert neue Beweise für die nächste Runde des Verstehens.

Das ist auch der Grund, warum die Videogenerierung nicht das gesamte Weltmodell ist.

Videomodelle können beantworten, wie das nächste Bild aussehen könnte, aber um zu einem allgemeinen Weltmodell zu gelangen, müssen sie auch Fragen beantworten wie „Wie würde sich die Welt unterscheiden, wenn ich diese Bedingung ändere, dieses Objekt bewege oder diese Handlung ausführe?“ Solche Vorhersagen mit handlungsbezogenen Bedingungen berühren erst Kausalität, Kontrafaktizität und durchführbare Entscheidungen.

Wie bilden Verstehen, Vorstellen und Handeln einen geschlossenen Kreislauf?

Um zu beschreiben, wie sich Weltmodelle weiterentwickeln, schlägt das Team von Zhu Jun zudem eine Fünf-Stufen-Route vor: von L1 (Generieren der Welt) über L2 (Interagieren mit der Welt) und L3 (Handeln in der Welt) schrittweise zu L4 (autonome Weltagenten) und L5 (Weltorganisatoren).

Das lässt sich anhand eines Glases veranschaulichen, das an den Rand eines Tisches geschoben wird.

Das Modell von Stufe L1 kann fortlaufende Bilder generieren, in denen das Glas herunterrutscht, auf den Boden schlägt und zerspringt; das Modell von Stufe L2 kann diese Welt weiterentwickeln, nachdem der Benutzer die Perspektive geändert oder die Schubrichtung verändert hat; bei Stufe L3 muss das Modell beurteilen, ob das Glas herunterfallen wird, vorhersagen, ob es rechtzeitig mit der Hand greifen kann, und Greifaktionen ausgeben, die der Roboter tatsächlich ausführen kann. Erst nach der Handlung erfährt es, ob seine Urteile über Gewicht, Reibung und Greifzeitpunkt des Glases richtig waren.

Auf höheren Stufen wartet L4 nicht mehr nur auf Anweisungen von Menschen, sondern soll Risiken erkennen, aktiv beobachten, Informationen ergänzen und Strategien nach Misserfolgen korrigieren. L5 befasst sich zudem mit der Zusammenarbeit mehrerer Akteure: Zum Beispiel wer das Glas greift, wer Hindernisse umgeht, wer Werkzeuge bereitstellt und wie Aufgaben neu angeordnet werden, wenn sich die Umgebung ändert.

Die Bedeutung dieser Route liegt darin, dass sie das „Weltmodell“ von einem Substantiv in eine Reihe von schrittweise prüfbaren Fragen verwandelt.

Bei L1 wird geprüft, ob die generierte Bahn kohärent ist, bei L2 ob die Welt kontinuierlich reagieren kann, bei L3 ob das Modell die physische Umgebung verändern kann, bei L4 ob das System aktiv erforschen und kontinuierlich lernen kann, bei L5 ob es die Zusammenarbeit mehrerer Akteure in einer offenen Umgebung organisieren kann.

Formalisierte Modellierungsziele und erworbene Fähigkeiten der Fünf-Stufen-Roadmap des allgemeinen Weltmodells (GWM).

Nach den Urteilen des Aufsatzes haben bestehende Systeme die ersten drei Stufen bereits erreicht, L4 und L5 sind noch offene Fragen. Die größten Lücken umfassen Kausalität und physische Erdung, dauerhaftes Gedächtnis, Online-Lernen, effiziente Bereitstellung und Sicherheitssteuerung. Bei der Bewertung müssen zudem Vorhersagen und tatsächliche Ergebnisse verglichen werden, um die Transferfähigkeit des Modells bei unbekannten Aufgaben, Umgebungen und Ausführungsformen zu prüfen.

Vom Video zum verkörperten Intelligenzsystem: Zwei Überprüfungen derselben Annahme

Die Schwierigkeiten von Weltmodellen liegen nicht nur in den Algorithmen.

Internetvideos sind in großem Umfang vorhanden und zeichnen eine breite Palette von Objekten, Personen, Szenen und Bewegungen auf. Modelle können daraus räumliche Strukturen, Kontinuität von Objekten, menschliches Verhalten und die üblichen Abläufe von Ereignissen lernen, aber Videos zeichnen selten synchron die Handlungen, Kräfte und Absichten auf, die Veränderungen verursachen. Roboterbahnen können Beobachtungen, Handlungen und Ergebnisse verbinden, sind aber teurer in der Erfassung und lassen sich leicht an bestimmte Hardware und Aufgaben binden.

Der vom Team von Zhu Jun vorgeschlagene Weg besteht darin, diese beiden Datentypen in eine Datenpyramide zu legen, die von Beobachtungen zu Handlungen führt.

Die Datenpyramide des allgemeinen Weltmodells (GWM) und ihre Beziehung zur Fünf-Stufen-Fähigkeits-Roadmap.

Die unterste Ebene besteht aus internetweiten Videos, um Weltwissen und dynamische Prioritäten zu erwerben. Nach oben folgen nacheinander domänenspezifische Videos, menschliche Videos aus der ersten Perspektive, menschliche Demonstrationen mit Aktionsaufzeichnungen. Die oberste Ebene besteht aus echten Interaktionsdaten von Robotern. Je höher die Ebene, desto knapper die Daten und desto höher die Kosten, aber desto klarer ist die Zuordnung zwischen Handlungen, Aufgaben und dem Roboter selbst.

Das erklärt, warum Shengshu Technology gleichzeitig Videogenerierung und verkörperte Intelligenz vorantreibt: Videos liefern die Breite des Weltwissens, Roboterdaten vollenden die Erdung der Handlungen.

Auf der Seite der digitalen Welt erforscht die Vidu-Serie kontinuierlich die Generierung und Interaktion mit der visuellen Welt. Videos sind nicht das Endziel des Weltmodells, aber ein wichtiger Ausgangspunkt: Sie lassen das Modell in groß angelegten räumlich-zeitlichen Veränderungen lernen, wie Objekte, Szenen, Bewegungen und Ereignisse sich entwickeln. Vidu S1 treibt die einmalige Generierung zudem zu Echtzeit-Reaktionen weiter, sodass Benutzereingaben den nachfolgenden Inhalt kontinuierlich verändern können, um zu testen, ob das Modell die Zustandskontinuität während des Interaktionsprozesses aufrechterhalten kann.

Auf der Seite der physischen Welt verbinden Motus und Motubrain Umgebungsverstehen, Zustandsvorhersage und Roboteraktionen in derselben Kette. Das Modell muss die Umgebung wahrnehmen, die Folgen von Eingriffen vorhersagen, dann seine Urteile in ausführbare Handlungen umwandeln und sich den Prüfungen der tatsächlichen Ergebnisse stellen.

Bestehende repräsent