"Die Welt" wartet auf Zhang Yiming

Im Jahr 2021 schrieb Zhang Yiming in seinem Rücktrittsbrief: „Die Auswirkungen von virtueller Realität, Biowissenschaften und wissenschaftlichem Rechnen auf das menschliche Leben zeigen bereits die ersten Anzeichen des Morgengrauens. Dafür müssen wir über die Trägheit unserer bestehenden Geschäfte hinausgehen und neue Wege erforschen.“

Im Juni 2021 berichtete das Finanzmagazin Caixin, dass Zhang Yiming persönlich nach Weifang gereist sei, um über die Übernahme von Pico zu verhandeln, und er habe bereits bei dem ersten Treffen seine Absicht zur Übernahme geäußert. Diese Übernahme wurde später zu einem symbolträchtigen Ereignis der damaligen Investitionswelle im Metaversum, aber Caixin betonte in dem Bericht ausdrücklich, dass beide Seiten zu diesem Zeitpunkt keine Absicht bekanntgegeben hätten, „in das Metaversum einzusteigen“.

Fünf Jahre später, im Juni 2026, wurde das Weltmodell von ByteDance enthüllt. Der Bericht behauptet, dass das Weltmodell eines der vier zentralen KI-Schwerpunkte von ByteDance im Jahr 2026 sei. Das Ziel sei es, bis Ende des Jahres mindestens eine Version zu veröffentlichen, die sich an Genie 3 orientiert.

Dieses Projekt basiert auf Seedance: Nutzer nutzen das Headset von Pico als Eingang, sprechen einen Satz oder führen eine Bewegung aus, und die Cloud generiert eine Welt, die sich entsprechend verändert.

Die „virtuelle Realität“, von der Zhang Yiming schrieb, meinte nicht das Metaversum, sondern ein weitaus umfassenderes Weltmodell. Sein Rücktrittsbrief lässt sich eigentlich auch als Vorankündigung verstehen.

Im September 2026 tauchte ein weiterer Bericht auf, dass Zhang Yiming, der inzwischen zum reichsten Menschen Chinas geworden ist, immer noch persönlich ein Echtzeit-Raumvideomodell von ByteDance überwacht, verschiedene Geschäftsabteilungen koordiniert und KI-Ressourcen sowie Rechenkapazität diesem Projekt zuweist. Das zeigt, wie groß sein Engagement für das Weltmodell ist.

Man weiß nicht, wie weit ByteDance die Forschung zu Genie 3 vorangetrieben hat, aber Google hat zuerst gehandelt und am 28. Oktober das Weltmodell Genie 4 veröffentlicht. Das setzt Zhang Yiming zweifellos unter Druck.

Im Vergleich zu seinen Vorgängern ist das größte Merkmal von Genie 4, dass Nutzer die Welt fortlaufend „beeinflussen“ können. In der von Google veröffentlichten Demo kann man in die Welt von Genie 4 eintreten, den Regen auslösen, die Kamera drehen und eine Person an einer Straßenecke erscheinen lassen. Der Wind hat Geräusche, und die Charaktere antworten auf das, was man sagt.

Personen, die an den Tests teilgenommen haben, berichten, dass Genie 4 nicht mehr nur auf eine einzelne Kamera eingestellt wird: Man kann ihm ein bevorstehendes Ereignis zuweisen, und Genie 4 generiert automatisch alles, was zu diesem Ereignis gehört.

Was ist Genie 4 eigentlich?

Man könnte Genie 4 weniger als Weltmodell, sondern vielmehr als Spiel bezeichnen.

Frühere Weltmodelle waren im Grunde Videomodelle, die alle Bilder, die man später sehen könnte, im Voraus generierten. Genie 4 hingegen generiert das nächste Bild direkt basierend auf deiner Bewegung.

Wenn du den Protagonisten im Video aufforderst, sich nach links zu drehen, kann ein herkömmliches Videomodell nur ein neues Video generieren, in dem er sich nach links dreht.

Bei Genie 4 hingegen drückst du WASD, und die Figur bewegt sich und dreht sich entsprechend deiner Eingabe. Dabei muss das Modell beurteilen, wie sich Kamera, Figur, Objekte und räumliche Beziehungen als Nächstes verändern, und das Ergebnis dir sofort anzeigen.

Ersteres generiert einen fertigen Inhalt, Letzteres simuliert die Folgen von Handlungen.

Google arbeitet bereits seit mehreren Generationen an diesem Weg.

Genie 1 aus dem Jahr 2024 lernte latente Handlungen aus Internetvideos ohne Handlungsmarkierungen, sodass Nutzer die generierte Umgebung Bild für Bild steuern können. Seine Bedeutung liegt nicht in der besonders feinen Bildqualität, sondern darin, dass das Modell erstmals die Beziehung zwischen „Handlungen“ und „Veränderungen“ aus Videos lernt.

Im selben Jahr folgte Genie 2, das ein einzelnes Bild in einen 3D-Raum verwandelt, der von Menschen oder KI mit Tastatur und Maus gesteuert werden kann. Es zeigte erstmals Fähigkeiten zur Objektinteraktion, Charakteranimation, Schwerkraft und Beleuchtung sowie zur Nachbearbeitung von Szenen außerhalb des Sichtfelds.

Bei Genie 3 aus dem Jahr 2025 erreichte die Welt eine Auflösung von 720p mit 24 Bildern pro Sekunde und konnte die inhaltliche Konsistenz über mehrere Minuten hinweg aufrechterhalten. Nutzer konnten neben der Navigation auch das Wetter über Prompts verändern sowie Figuren und Objekte hinzufügen. Videos wurden zuerst steuerbar, dann betretbar und schließlich kontinuierlich beeinflussbar.

Die wichtigste Verbesserung von Genie 4 besteht darin, dass diese Welt viel mehr Spaß am „Spielen“ macht.

Du kannst mit natürlicher Sprache in Echtzeit das Wetter verändern, die Kamera bewegen oder eine Person oder ein Objekt hinzufügen. Gemini versteht deine Anweisungen im Kontext der aktuellen Szene, statt die Welt jedes Mal von Grund auf neu zu erstellen.

Zwischen zwei deiner Eingaben überwacht und steuert es die Szene weiter, sodass die Welt sich fortlaufend weiterentwickelt.

Google betont, dass Genie 4 physikalische Simulationen wie Aerodynamik und Kollisionen umfasst, sowie natürlichere Bewegungen der Charaktere und deren Reaktionen auf die Umgebung.

Darüber hinaus ist Genie 4 das erste Modell der Genie-Serie mit Ton. Es kann gleichzeitig zum Bild Windgeräusche, Meeresrauschen und Hintergrundmusik generieren.

Früher musste der Mensch der Welt ständig sagen, „was als Nächstes passiert“. Jetzt beginnt Genie 4 zu verstehen, „wie dieses Ereignis Schritt für Schritt abläuft“.

Gemini 3.8 Flash beobachtet im laufenden Betrieb die von Genie 4 generierten Bilder, zerlegt komplexe Ziele in einzelne Schritte, prüft, ob jeder Schritt abgeschlossen ist, und passt den Plan an, wenn sich die Welt verändert oder der Nutzer eingreift.

Natürlich gibt es für Weltmodelle nicht nur den Weg, „Menschen zum Spielen in eine Welt einzuladen“.

Ein Beispiel ist Nvidia Cosmos: Es nutzt grundlegende Weltmodelle zur Simulation, Schlussfolgerung und Datengenerierung, um Roboter, autonomes Fahren und industrielle Bildverarbeitung zu trainieren.

Für das Training des autonomen Fahrens werden seltene Verkehrsszenarien wie extremes Wetter oder komplexe Lichtverhältnisse benötigt.

Solche Szenarien in der Realität zu simulieren ist nicht nur sehr teuer, sondern auch nicht praktikabel, sie aktiv herbeizuführen. Wenn eine simulierte Welt diese Situationen generieren kann, können Maschinen darin zuerst trainiert, getestet und validiert werden.

Auch Roboter müssen die Folgen von Handlungen verstehen. Zum Beispiel: Wenn sie einen Becher greifen, rutscht er aus der Hand? Wie bewegt sich das Objekt, wenn die Handfläche den Becher berührt? Wenn der Becher an einer anderen Stelle steht, funktioniert die ursprüngliche Strategie dann noch?

Für diesen Weg braucht es nicht nur realistische Bilder, sondern auch steuerbare synthetische Daten, physikalische Interaktion, die Folgen von Handlungen und wiederholte Validierungen.

Auch Google erforscht die Kombination von Genie 4 und Gemini Robotics, aber die Besonderheit dieser Generation liegt klar im Unterhaltungsbereich, mit Fokus auf Immersionserlebnis und Interaktivität.

Letztendlich ist Genie 4 nur eine Vorschauversion. Google gibt an, dass es die Konsistenz nur in kurzen Sitzungen aufrechterhalten kann. Bei zu langer Laufzeit oder mehreren komplexen Änderungen können visuelle Details und die Konstanz von Objekten dennoch abweichen. Gleichzeitig sind komplexe Physiksimulationen, Echtzeitaudio, räumliche Genauigkeit und langfristige Konsistenz noch nicht vollständig gelöst.

ByteDance hat schon früh entsprechende Vorkehrungen getroffen

Das Weltmodell von ByteDance verfolgt einen ähnlichen Ansatz wie das von Google.

Im Jahr 2024 wechselte Zhou Chang, der damalige technische Leiter des großen Modells Tongyi, von Alibaba zu ByteDance und übernahm dort die Verantwortung für die Forschung im Bereich Weltmodelle.

Damals beurteilte ByteDance intern jedoch, dass die technischen Wege und kommerziellen Szenarien für Weltmodelle noch nicht ausreichend klar seien. Wichtiger sei es zunächst, die Grundlagen im Bereich der Videomodelle zu schaffen.

Ab 2025 begann ByteDance, in kleinem Rahmen eine VLA-Forschungsgruppe aufzubauen. Das Team um Li Hang, Leiter von ByteDance AI Lab, trainierte hauptsächlich auf Basis von Simulationsdaten, während das Team um Wenqian Wang, Forscher für multimodale Seed-Modelle, hauptsächlich auf Basis natürlicher Daten trainierte.

Nach dem Frühlingsfest 2026 gründete Seed eine neue Gruppe für 3D-Simulationsweltmodelle unter der Leitung von Fan Haoqi, ehemaliger Forscher bei Meta FAIR, der an Zhou Chang berichtet. Die beiden ursprünglichen VLA-Gruppen wurden zusammengelegt und berichten ebenfalls einheitlich an Zhou Chang.

Daraus ergeben sich zwei Richtungen: VLA zielt auf verkörperte Intelligenz ab und strebt realistische Handlungen und Reaktionen der Umgebung an, während die 3D-Simulation auf Unterhaltung und Spiele ausgerichtet ist.

Das Budget für Trainingsdaten, das ByteDance für das Weltmodell bereitgestellt hat, beläuft sich auf mehrere zehn Millionen Yuan und deckt Modalitäten wie VLA, Langvideos und 3D ab. Ein Datenlieferant gibt an, dass der Aufwand das 3- bis 4-fache des Aufwands anderer Hersteller beträgt.

Trotz der Investitionen von Geld und Personal lassen die Ergebnisse auf sich warten. Laut Berichten zeigten interne Bewertungen bei ByteDance Anfang 2026, dass die Gesamtleistung seines Weltmodells noch etwa 10 % vom damaligen globalen Spitzenwert (SOTA) entfernt war.

Wie Google hat auch ByteDance eine solide technische Grundlage für die Entwicklung von Weltmodellen.

Seedance 2.5 kann einzelne Videoclips mit einer maximalen Länge von 30 Sekunden generieren und die Geschichte über mehrere Runden von Prompts fortsetzen, um am Ende einen vollständigen Kurzfilm auszugeben.

Es kann Videos unter Bezugnahme auf verschiedene Materialien generieren, Änderungen nach Zeitstempeln durchführen, und auch Figurenhaltungen, Bewegungsbahnen und Kamerafahrten lassen sich zuerst mit einem einfachen weißen Modell aufbauen, bevor das entsprechende Video generiert wird.

Herkömmliche Videomodelle funktionieren im Grunde nach dem Zufallsprinzip: Nach Eingabe eines Prompts sind die Ergebnisse mal gut, mal schlecht. Seedance 2.5 hingegen ist eine Kombination aus KI-Videogenerierung und KI-Schnitt, die eine weitaus stabilere Ausgabequalität bietet.

Ein Weltmodell braucht nicht nur fortlaufende Bilder, sondern auch dreidimensionale Objekte darin, sodass man sie aus verschiedenen Winkeln betrachten kann.

Deshalb gibt es Seed3D. Es kann ein einzelnes Bild in ein 3D-Modell mit Geometrie, Textur und PBR-Materialien umwandeln, das nach dem Import in Isaac Sim auch für physikalische Simulationen und Robotertraining verwendet werden kann.

Das heißt, die von Seed3D generierten Materialien sind 3D-Assets, die den physikalischen Regeln entsprechen und für Handlungstests verwendet werden können.

Zuletzt gibt es das native voll-duplex große Audio-Video-Modell SeedRealtime. Es ist ein Echtzeit-Interaktionsmodell mit einheitlicher Architektur, das Audio, Video, Text und Zeitreihen-End-to-End modelliert.

Selbst wenn die Bilder einer Welt noch so schön sind: Wenn sie nicht versteht, was Menschen sagen, und nicht weiß, wann sie antworten soll, bleibt sie nichts weiter als ein Videoclip.

Am 11. Oktober zeigte Tim von dem Kanal „Film Hurrikan“ ein solches Video: Der Nutzer generiert zuerst mit einem einzigen Satz einen Raum in Miniaturansicht, steuert dann mit Tastatur und Maus ein Papierflugzeug und fliegt frei durch die Szene.

Wenn man einen Löffel haben will, generiert die Welt einen Löffel, und man kann sogar an ihm hochklettern. Wenn man dann eine „Tür nach Belieben“ zeichnet, werden der bisher völlig unabhängige Raum und der Weltraum miteinander verbunden.

Obwohl ByteDance keine detaillierten Informationen zu diesem Weltmodell offiziell veröffentlicht hat, hat es der Öffentlichkeit erstmals einen Einblick in die Grundzüge seines Weltmodells gegeben. Es betont sowohl räumliche Erkundung als auch jederzeit mögliche Änderungen und Interaktion.

In der am 27. Oktober veröffentlichten Hurun-Liste der reichsten Chinesen 2026 wurde Zhang Yiming mit einem Vermögen von 670 Milliarden Yuan zum reichsten Menschen Chinas.

Laut Berichten koordiniert Zhang Yiming persönlich verschiedene Geschäftsabteilungen des Unternehmens für das Weltmodell-Projekt, um KI-Ressourcen und Rechenkapazität für das Projekt bereitzustellen.

Zhang Yiming hofft, dass dieses Modell vier Elemente verbinden kann: KI-Modelle, Cloud Computing, Inhaltsplattformen und die Pico-Hardware. Letztendlich soll das Weltmodell zum neuen Wachstumsmotor von ByteDance werden.

Seed generiert die Welt, Volcano Engine stellt die Cloud-Rechenkapazität bereit, Jianying und Jimeng senken die Hürden für die Erstellung von Inhalten, Douyin, Livestreams und Kurzfilme sorgen für die Verbreitung des Erlebnisses, und Pico bietet den räumlichen Eingang.

Der Vorteil von Pico liegt in seinem geringen Gewicht und dem günstigen Preis.

Herkömmliche XR-Geräte müssen eine große Menge an Rechenleistung in das Headset einbauen, was die Geräte schwer und teuer macht – wie zum Beispiel Apples Vision Pro. Zhang Yiming möchte die komplexe Generierungsberechnung in die Cloud verlagern, sodass das Headset nur noch für Wahrnehmung, Übertragung und Anzeige zuständig ist.

Die Kosten verschwinden nicht, sie werden nur vom Headset in das Rechenzentrum verlagert.

Deshalb steigen die Kosten für gleichzeitige Berechnungen mit steigender Nutzerzahl. Schon geringe Schwankungen im Netzwerk führen zu Verzögerungen, die das Immersionserlebnis direkt zerstören.

Derzeit liegt die Generierungsrate des Weltmodells von ByteDance bei etwa 20 Bildern pro Sekunde. Das ist nicht flüssig, man kann höchstens sagen, dass es „nicht ruckelt“.

Von „Empfehle das nächste Video“ zu „Generiere die nächste Sekunde“

Nicht nur Zhang Yiming kann Weltmodelle entwickeln. Li Feifei, Yann LeCun, DeepMind, Nvidia und zahlreiche Teams aus dem Bereich Robotik und autonomes Fahren arbeiten aus verschiedenen Richtungen an Weltmodellen.

Sie alle sind technische Experten, aber damit ein Weltmodell aus dem Labor zur breiten Masse gelangt, braucht