Außerhalb von Google und Li Feifei: Der dritte Weg der Weltmodelle

Viele Jahre später zurückgeblickt wird das Jahr 2026 auf dem Weg der Menschheit zur AGI möglicherweise als „Jahr des ersten Weltmodells“ bezeichnet.

Kürzlich hat ein „unbekannter“ Name im Kern-Navi-Rang des Benchmarks WBench für die Bewertung interaktiver Videoweltmodelle stillschweigend die Spitze erreicht – HiDream-O1-World. Mit einem durchschnittlichen Ergebnis von 80,9 Punkten hat es die Aufmerksamkeit der Branche erregt. Dieses Modell stammt von Zhixiang Future, und sein Durchbruch hat das Segment der Weltmodelle erneut in den Fokus gerückt.

Im Ausland hat Yann LeCun, ein treuer Anhänger des Weltmodells, nach der Gründung seines eigenen Unternehmens AMI Labs allein durch seine Branchenausstrahlung und die vollständige Konzentration auf Weltmodelle eine Finanzierung von über 1 Milliarde US-Dollar erhalten. Anschließend enthüllte das im August letzten Jahres vorveröffentlichte allgemeine Weltmodell Genie 3 sein Geheimnis, und am 30. Januar wurde Project Genie für die Öffentlichkeit zugänglich gemacht, sodass Benutzer durch Text oder Bilder interaktive 3D-Virtualwelten generieren können. World Labs, das von der „Mutter der KI“ Li Feifei gegründet wurde, hat sein auf kommerzielle Produkte zur Generierung von 3D-Welten ausgerichtetes Produkt Marble auf den Markt gebracht, gleichzeitig hat das Unternehmen eine Finanzierung von über 1 Milliarde US-Dollar abgeschlossen, mit einer Bewertung von über 5 Milliarden US-Dollar.

In China haben Tencent und Alibaba am 16. April am selben Tag ihre jeweiligen Weltmodellprodukte vorgestellt. Tencent hat das quelloffene Hunyuan 3D-Weltmodell 2.0 (HY-World 2.0) herausgebracht, während Alibaba HappyOyster präsentiert hat, das auf Echtzeit-Interaktion ausgerichtet ist. Eine Woche später hat ByteDance offiziell sein neues großes 3D-Generationsmodell – Seed3D 2.0 – veröffentlicht.

Für eine Weile haben viele Akteure im Bereich der Weltmodelle um den Vorsprung gekämpft und jeweils eigene Durchbrüche erzielt, aber alle haben auch ihre eigenen Einschränkungen.

Unter ihnen sind Google und Li Feifeis World Labs die beiden wichtigsten technischen Strömungen. Google konzentriert sich auf die Echtzeit-interaktive Weltmodellierung: Benutzer müssen nur eine Taste drücken, und das Bild ändert sich sofort. Es gibt jedoch noch Herausforderungen bei der einheitlichen Darstellung multimodaler Eingaben und der gemeinsamen Generierung von Audio und Video. Im Juni dieses Jahres hat Li Feifei die drei Richtungen der Roadmap für Renderer, Simulator und Planer von Weltmodellen systematisch erläutert. Marble von World Labs ist genau das erste Produkt in Richtung des Simulators, das den Weg der strukturierten Rekonstruktion des 3D-Raums geht: Ausgehend von der dreidimensionalen Geometrie generiert es einen strukturell genauen und bearbeitbaren 3D-Raum. Es strebt nicht nach einer besonders realistischen Darstellung, sondern nach struktureller Genauigkeit und Bedienbarkeit. Diese Richtung hat deutliche Vorteile bei der Strukturtreue statischer Szenen, befindet sich aber bei der langfristigen dynamischen Generierung und physischen Interaktion noch in einem frühen Erkundungsstadium.

Es gibt Meinungsverschiedenheiten über die Richtungen und fehlt ein Konsens in der Branche, was genau bedeutet: Niemand hat das Endergebnis bereits festgelegt, jedes Unternehmen hat eine Chance.

Am 17. August hat Zhixiang Future offiziell das native multimodale interaktive Weltmodell HiDream-O1-World veröffentlicht. Dieses Modell hat bei seinem Debüt sofort den Kern-Navi-Rang der WBench-Liste angeführt. Bemerkenswert ist, dass es mit 73,3 Punkten in der Kategorie „Physik“ den ersten Platz und mit 88,0 Punkten in der Kategorie „Konsistenz“ einen Spitzenplatz belegt. Das bedeutet, dass HiDream-O1-World bei den allgemein anerkannten zentralen technischen Herausforderungen im Bereich interaktiver Weltmodelle – der Raum-Zeit-Konsistenz und der physikalischen Konsistenz – entscheidende Durchbrüche erzielt hat.

Einen Durchbruch bei „unbegrenztem Erkunden“ und „lang andauernder Interaktion“ erzielen

Das bedeutet, dass HiDream-O1-World mit den aktuellen führenden interaktiven Weltmodellen gleichziehen kann.

Das Modell verfügt über zwei Kernfunktionen: Erkunden und Bearbeiten, und unterstützt multimodale Eingaben wie Text, Bilder und Bedienbefehle. Im Erkundungsmodell können Benutzer frei aus der Ego- oder Third-Person-Perspektive navigieren, die Szenen sind stabil und zusammenhängend, ohne Drift oder Unterbrechungen. Im Bearbeitungsmodell können Benutzer das Bild in Echtzeit bearbeiten, Aktionen von Charakteren oder Änderungen der Umgebung über Befehle in Echtzeit steuern, das Bild reagiert sofort und Audio und Video werden synchron generiert. Noch wichtiger ist, dass das Modell verschiedene Subjekte wie Menschen, Tiere und fiktive Charaktere unterstützt, unterschiedliche Stile von realistischen Stadtansichten bis zu zweidimensionalen Fantasiewelten abdeckt und über eine extrem starke Generalisierungsfähigkeit verfügt.

△ Leistung des Modells im Online-Echtzeit-Bearbeitungsmodus, das Video wurde von HiDream-O1-World generiert

Dank dieser Funktionen ist HiDream-O1-World nicht mehr nur ein Videogenerator, sondern eine dynamische Welt, die Benutzer betreten und steuern können.

Was HiDream-O1-World wirklich aus der Masse der Weltmodelle hervorhebt, ist seine bahnbrechende Leistung bei zwei allgemein anerkannten schwierigen Problemen der Branche.

Erste Herausforderung: Raum-Zeit-Konsistenz, der „Meister des räumlichen Gedächtnisses“ für lange Zeitsequenzen

Interaktive Weltmodelle leiden seit langem unter einem fatalen Mangel: Nach Blickverschiebungen und Szenenerkundungen sind Position, Struktur und Verdeckungsverhältnisse von Objekten durcheinander geraten, das Bild wird bei längerer Nutzung zunehmend unschlüssig und kann keine kontinuierliche Welt bilden. Wenn eine Person beispielsweise gerade einen Korridor mit Wandmalereien entlanggeht und sich dann umdreht, können die Wandmalereien verschwinden oder sich verformen. Das liegt daran, dass Modelle, die Bilder durch „Pixelvorhersage“ generieren, bei jeder Interaktion das gesamte Bild neu zeichnen, wobei Geometrie und Erscheinungsbild eng gekoppelt sind. Jede kleine Abweichung wird in langen Sequenzen ständig vergrößert.

Nach einer „CT-ähnlichen“ Prüfung von mehr als 20 interaktiven Modellen stellte WBench fest, dass die Leistung aller Modelle nach fortlaufender Interaktion abnimmt und der durchschnittliche Wert der Navigationsfähigkeit um ganze 33 Punkte sinkt. Die Akkumulation von Positionsfehlern in jeder Runde ist ein struktureller Mangel des aktuellen iterativen Generationsparadigmas.

Einer der zentralen Durchbrüche von HiDream-O1-World besteht darin, dass es sich die Struktur bereits erkundeter Szenen bei lang andauernder Interaktion merken kann. Selbst nach mehreren Runden von Blickwechseln und Navigationsbewegungen behält es die geometrische Konsistenz von Objektgrößen, räumlichen Positionen und Verdeckungsverhältnissen bei und vermeidet grundsätzlich Probleme wie Blickdrift und das „Zurücksetzen“ von Szenen. Dadurch verfügt das Modell zum ersten Mal über echte räumliche Navigationsfähigkeit. Wenn Benutzer sich in der Ego-Perspektive umdrehen, umsehen, nach oben oder unten blicken, reagiert das Modell reibungslos und das Bild bleibt stabil ohne Drift – die Welt wird nicht neu geladen, wenn die Person sich bewegt, und die Szene wird nicht neu aufgebaut, wenn man sich umdreht.

Zweite Herausforderung: Physikalische Konsistenz, von „Pixeln raten“ zu „Gesetze verstehen“

Viele aktuelle Modelle konzentrieren sich noch auf die Verbesserung der Rendering-Qualität und der Bildschönheit. Selbst bei sehr hochwertigen Bildern verlieren Benutzer sofort die Immersion, wenn Objekte schweben, durch Wände gehen oder Kollisionsrückmeldungen unrealistisch sind. Das ist ein häufiges Problem fast aller aktuellen Videogenerierungsmodelle: Sie passen sich der Pixelverteilung an, nicht den physikalischen Gesetzen.

Bei der WBench-Bewertung ist die physikalische Kategorie eine der Kategorien mit den niedrigsten Punktzahlen für alle Modelle. Im Gegensatz zu gewöhnlichen Rendering-Modellen erzielt HiDream-O1-World einen wesentlichen Durchbruch bei der Realismus der physikalischen Simulation: Bei der Bewertung der visuellen Plausibilität, die prüft, ob die Bewegung im Bild den alltäglichen physikalischen Gesetzen entspricht, übertrifft das Modell den Branchendurchschnitt um 13,6 %. Bei der anspruchsvolleren Bewertung der Kausaltreue, die physikalische Dimensionen wie Flüssigkeiten, Kollisionen und Verformungen umfassend misst, erreicht das Modell ebenfalls einen deutlichen Anstieg um 12,7 %. Mit 73,3 Punkten belegt HiDream-O1-World den ersten Platz in der Branche in der physikalischen Kategorie, was beweist, dass das Modell über echte physikalische Induktionsverzerrungen verfügt und objektive Gesetze wie Schwerkraft, Kollision, Flüssigkeit und Verformung selbstständig ableiten kann.

Aus den gezeigten Videos geht hervor, dass HiDream-O1-World ebenfalls Mängel aufweist. Aber es ist das erste, das eine Lösung für die zwei äußerst schwierigen Probleme der Branche gefunden hat. Der Grund für diesen Erfolg liegt darin, dass es einen technischen Weg gewählt hat, der sich von dem von Google und Li Feifeis World Labs unterscheidet.

Neue Lösungsidee: „Geometrie“ und „Erscheinungsbild“ trennen

Dass HiDream-O1-World Durchbrüche bei der Raum-Zeit-Konsistenz und der physikalischen Konsistenz erzielen kann, beruht auf zwei Ebenen des Designs: dem einheitlichen kognitiven Rahmen, der durch die native multimodale UiT-Architektur geschaffen wird, und der Innovation des Generationsparadigmas durch entkoppelte Generierung von Geometrie und Erscheinungsbild.

Herkömmliche multimodale Modelle folgen dem Weg des „Zusammensteckens von Bausteinen“: Ein unabhängiger Text-Encoder versteht Text, VAE verarbeitet Bilder, und Diffusionsmodelle generieren Bilder, wobei jedes Modul unabhängig voneinander arbeitet. Die von Zhixiang Future selbst entwickelte UiT (Unified Transformer)-Architektur von HiDream-O1-World ordnet alle Signale wie Bildpixel, Text-Token, Videovoxel und räumliche Beziehungen demselben gemeinsamen Token-Raum zu und interagiert direkt mit demselben Satz von Transformern. Das bedeutet: Wenn Benutzer Befehle wie „nach links drehen“ oder „vorwärts gehen“ geben, versteht das Modell die räumliche Bedeutung des Befehls, sagt den Zustand der Welt voraus und generiert visuelle Ergebnisse in demselben kognitiven Rahmen – „Verstehen“ und „Generieren“ sind von Grund auf nicht mehr getrennt.

Wenn die UiT-Architektur das Problem löst, „mit welchem Rahmen man die Welt versteht“, dann löst das Generationsparadigma mit entkoppelter Geometrie und Erscheinungsbild das Problem, „wie man eine 3D-konsistente Welt generiert“. Die meisten aktuellen führenden 3D-interaktiven Generierungsmodelle stützen sich auf implizite Raum-Zeit-Repräsentationen, um die Szenenstruktur abzuleiten. Nachdem das Modell ein Bild oder einen Befehl und eine Kamerabahn erhalten hat, passt es die Pixelverteilung an und generiert das Video direkt „in einem Schritt“. Diese geometrieunabhängige Modellierung führt einerseits leicht zu Problemen wie unangemessener geometrischer Struktur, Objektverformung und inkonsistentem Raum zwischen verschiedenen Blickwinkeln bei großen Blickwinkeländerungen. Andererseits passt es sich direkt der Pixelverteilung an, versteht keine physikalischen Gesetze und versagt, wenn es auf physikalische Szenen trifft, die in den Trainingsdaten nicht vorkommen.

Die Lösung von HiDream-O1-World lautet: Anstatt das Modell implizit alle räumlichen Schlussfolgerungen „erraten“ zu lassen, teilt man die „Generierung der geometrischen Struktur“ und das „Rendering des Erscheinungsbilds“ in zwei unabhängige Phasen auf, also ein zweistufiges Framework der „Geometrie-Erscheinungsbild-Entkopplung“.

• Erste Phase – Zuerst die Generierung der Geometrie abschließen: HiDream-O1-World trainiert zuerst ein 3D-Basismodell. Nachdem der Benutzer einen Befehl eingegeben hat, extrahiert das 3D-Basismodell mehrskalige geometrische Merkmale und komprimiert sie über ein leichtgewichtiges Projektionsmodul in den Darstell