Weltmodelle, nach denen alle schreien, entwickeln sich zum größten „Konzeptkorb“ der KI.

„Weltmodell“ ist wahrscheinlich eines der heißesten und zugleich unschärfsten Schlagwörter im KI-Bereich der letzten zwei Jahre.

Auf der GTC nannte Jensen Huang „Physikalische KI“ und „Weltmodell“ das Herzstück der nächsten KI-Generation; Hersteller autonomer Fahrzeuge betrachten Weltmodelle als unumgänglichen Weg zu hochgradig intelligentem Fahren; Roboterhersteller behaupten, ihre Weltmodelle könnten Roboterarmen allgemeine Bedienfähigkeiten verleihen; sogar Teams für Videogenerierung benennen ihre neuesten Modelle in „Weltmodell“ um – unter dem Motto: Wer Videos generieren kann, kann auch die Welt modellieren.

Weltmodelle werden zu einem neuen „Universaletikett“ im KI-Bereich, so wie das Metaversum vor einigen Jahren und die großen Sprachmodelle im letzten Jahr. Sobald man dieses Etikett anbringt, erhält man eine Eintrittskarte ins Zentrum von Kapital und öffentlicher Aufmerksamkeit.

Hinter diesem Phänomen steckt die kollektive Angst der gesamten Branche vor den sinkenden Grenzerträgen großer Sprachmodelle: Wenn die Textdaten des Internets vollständig erschöpft sind und die Faszination für generative Inhalte schnell nachlässt, muss die KI dringend das nächste trillionenfache Einsatzgebiet finden – und dazu muss sie aus der Bit-Welt in die Atom-Welt übergehen, von der Verarbeitung von Informationen zur Steuerung physischer Objekte.

Gerade weil die potenziellen Fähigkeiten und Anwendungen von Weltmodellen so enorm sind, liegen sie noch weit von der echten Nutzbarkeit entfernt und stecken in vielen Schwierigkeiten. Es handelt sich nicht um ein punktuelles Durchbruchsproblem einer einzelnen Technologie, sondern um ein systematisches Rätsel aus drei Dimensionen: Konzept, Daten und Architektur. Hinter jeder Ebene der Schwierigkeiten verbirgt sich eine kognitive Lücke, die die KI beim Übergang in die physische Welt unbedingt überwinden muss.

Konzepte vor Konsens: Ein Etikettenfest mit unterschiedlichen Absichten

Die erste Schwierigkeit, vor der Weltmodelle stehen, ist genau ihr lebhaftester Bereich – das Konzept selbst.

Viele Videogenerierungsmodelle, 3D-Rekonstruktionswerkzeuge und multimodale Großmodelle hängen sich dieses Etikett an, während die Branche nie einen Konsens über Definition, technischen Weg und Bewertungsstandards von Weltmodellen erreicht hat. Das gleiche Wort bezeichnet in verschiedenen Unternehmen völlig unterschiedliche Technologien.

Das ist keineswegs zufällig. Das Wesen der konzeptuellen Unordnung liegt darin, dass Akteure verschiedener Bereiche die Erzählung der Weltmodelle nutzen, um sich das technische Sprachrohr für die nächste KI-Generation zu sichern.

Für Inhaltsgenerierungsunternehmen bedeutet die Vermarktung von Videogenerierung als Weltmodell, die alte Geschichte des AIGC durch eine neue Erzählung der generativen interaktiven Welt mit größerer Vorstellungskraft zu ersetzen – was den Bewertungsspielraum direkt anhebt.

Das Weltmodell, von dem Roboterunternehmen sprechen, bezieht sich speziell auf die Fähigkeit von Roboterarmen, physische Eigenschaften, räumliche Positionen und Interaktionsrückmeldungen von Bedienobjekten zu modellieren. Sein Ziel ist es, eine technische Barriere im roten Ozean homogenisierter Hardware aufzubauen.

Für Hersteller autonomer Fahrzeuge ist das Weltmodell die Echtzeitvorhersage von Bewegungstrajektorien von Verkehrsteilnehmern und Umweltveränderungen – das Kernstück für den Aufstieg von passiver Wahrnehmung zu aktiver Vorausschau und ein unverzichtbares Element für die Geschichte des hochgradig intelligenten Fahrens.

Für Rechenleistungshersteller wie NVIDIA hingegen ist das Weltmodell ein Grundmodell, das auf einer Simulationsbasis wie Omniverse basiert und die gesamte Kette „Wahrnehmung – Simulation – Planung“ durchbricht, um der gesamten Branche allgemeine Modellierungsfähigkeiten bereitzustellen.

Verschiedene geschäftliche Ziele lassen das gleiche Wort völlig unterschiedliche technische Bedeutungen tragen.

Um dieses Konzept zu klären, versuchte Li Feifei in ihrem langen Artikel im Juni dieses Jahres, einen Analyserahmen für diese chaotische Situation zu schaffen. Sie teilte die auf dem Markt vorhandenen Weltmodelle in drei Kategorien ein:

Renderer kümmern sich nur darum, „wie es aussieht“: Sie erzeugen schöne Pixel und Videos, garantieren aber nicht die Korrektheit von Physik und Geometrie. Typische Vertreter sind Googles Genie und OpenAI Sora, deren Kernindikatoren visuelle Realismus und zeitlich-räumliche Kohärenz sind.

Simulatoren streben nach struktureller Genauigkeit: Sie geben keine Bilder aus, sondern Informationen wie Geometriedaten, Materialparameter und Kollisionsnetze. Beispiele dafür sind das physikalische Simulationsmodul von NVIDIA Omniverse und Unity PhysX AI – sie sind die Kernbasis für digitale Zwillinge und industrielle Simulationen.

Planer hingegen bauen eine Brücke zwischen Wahrnehmung und Handlung, sodass intelligente Agenten die Veränderungen der Welt vor der Handlung vorhersehen können. Beispiele sind Trajektorienvorhersagenetzwerke im autonomen Fahren und Bewegungsmodelle für Roboter, die direkt der Entscheidungsfindung intelligenter Agenten dienen.

Aber diese Einteilung selbst zeigt das Problem: Wenn ein technisches Konzept lange Texte braucht, um seine Grenzen zu definieren, bedeutet das, dass es noch lange nicht die Phase der technischen Konvergenz erreicht hat.

Vor 2012 erlebte das Deep Learning auch eine Phase der Kämpfe zwischen mehreren Wegen, aber damals entschieden Daten und Rechenleistung schließlich den Sieger der Wege. Für Weltmodelle gibt es bis heute keinen einheitlichen Standard: Bei Videogenerierung misst man die Effekte mit FVD (Frechet Video Distance) und CLIP-Scores; bei Robotern prüft man die Fähigkeiten mit Greif-Erfolgsrate und Aufgabenerfüllungsgrad; bei autonomen Fahrzeugen bewertet man den Wert mit Trajektorienvorhersagefehler und Übernahmerate. Ohne einheitlichen Maßstab gibt es keine Koordinaten für die technische Iteration. Diese konzeptuelle Schlacht wird höchstwahrscheinlich noch lange andauern.

Die Spielregeln der Bit-Welt funktionieren nicht in der Atom-Welt

Für das Training großer Sprachmodelle sind Daten fast unerschöpflich: Webseiten, Bücher, Aufsätze und Posts im Internet lassen sich crawlen und nutzen, mit extrem geringen Annotierungskosten. Aber das Training eines Modells, das die physische Welt versteht, erfordert eine völlig andere Art von Daten: multimodale Interaktionsdaten mit genauen geometrischen Annotationen, physikalischen Parametern und Aktionslabels.

Die Wurzel dieses Unterschieds liegt in der völlig verschiedenen Dimension der Informationen. Text ist ein diskretes, standardisiertes, unimodales Symbol – die Bedeutung eines Wortes ist relativ fest und die Annotierung ist einfach. Aber die physische Welt ist kontinuierlich, hochdimensional und durch mehrere Ursachen gekoppelt. Nehmen wir die einfachste Aktion „einen Pappbecher heben“: Dahinter stehen Dutzende physikalische Größen wie visuelle Textur, räumliche Tiefe, Krafteinwirkung der Finger, Verformung des Pappbechers, Reibungskoeffizient und Bewegungsbeschleunigung. Alle Daten müssen zeitlich im Mikrosekundenbereich ausgerichtet sein – schon kleinste Abweichungen machen sie für das Training wertlos.

Schwieriger noch: Selbst wenn man viel Geld für die Datenerhebung ausgibt, sind die Daten nicht unbedingt die richtigen.

Die Kosten für die Erhebung echter physischer Daten sind erstaunlich hoch. Nehmen wir das autonome Fahren als Beispiel: Die Hardwarekosten pro Testfahrzeug mit Lidar, Kamera und IMU übersteigen eine Million Yuan. Für jede Stunde echter Straßentestdaten summieren sich die Kosten für Annotation und Fahrzeugwartung auf mehrere tausend Yuan. Um langschwänzige Szenarien wie Regen, Schnee, Nacht, Baustellen und unregelmäßige Hindernisse abzudecken, braucht man Straßentestdaten im Bereich von Millionen Kilometern – die Gesamtkosten sind eine astronomische Zahl. Im Roboterbereich ist es noch schlimmer: Figure AI hat offengelegt, dass die Erhebungskosten echter Betriebsdaten pro Stunde für humanoide Roboter tausendmal höher sind als für Textdaten großer Sprachmodelle – zusätzlich besteht das Risiko von Hardwareverschleiß und Sicherheitsunfällen.

Derzeit sind die Einsatzszenarien von Weltmodellen im Wesentlichen auf spezielle Bereiche wie autonomes Fahren und Videospiele beschränkt. Datenumfang und -vielfalt reichen nicht für ein allgemeines Modell aus. Aber die Szenarien der echten physischen Welt sind unbegrenzt: Objekte unter unterschiedlichen Lichtverhältnissen, Reibung bei unterschiedlichen Abnutzungsgraden, Kollisionseffekte aus verschiedenen Winkeln… Diese langschwänzigen Szenarien sind genau der Schlüssel zur Prüfung der Generalisierungsfähigkeit des Modells, lassen sich aber niemals durch vollständige Erhebung abdecken.

Synthetische Daten wurden zeitweise als Wunderwaffe zur Lösung des Problems betrachtet. Mit physikalischen Simulations- und Spiel-Engines lassen sich virtuelle Daten in großen Mengen erzeugen, zu weit niedrigeren Kosten als die echte Erhebung. Aber die Fallstricke auf diesem Weg sind tiefer als viele erwartet haben.

Derzeit haben sich in der Branche drei gängige Lösungen herausgebildet:

Erstens die Erzeugung standardisierter dynamischer Daten auf Basis klassischer physikalischer Engines wie MuJoCo, Bullet und PhysX – Beispiele sind DeepMind DM Control Suite und OpenAI Gym.

Zweitens die Technik der Domänenrandomisierung: Durch zufällige Änderung von Licht, Textur und physikalischen Parametern der Simulationsumgebung wird die Generalisierungsfähigkeit des Modells verbessert. Das klassischste Beispiel ist OpenAI Dactyl: Der Roboterfinger wurde in der Simulation durch zufällige Parameter wie Reibungskoeffizient und Licht trainiert und konnte schließlich in der Realität die Aufgabe des Würfeldrehens erfüllen.

Drittens die Vervollständigung durch generative KI: Mit Diffusionsmodellen werden realistische Texturen erzeugt, um die visuelle Lücke zwischen Virtuellem und Realem zu verkleinern. NVIDIA Drive Sim nutzt diese Technik, um die Details von Simulationsszenarien zu bereichern.

Aber die Fallstricke auf diesem Weg sind tiefer als viele erwartet haben.

Viele glauben, die Lücke zwischen Simulation und Realität bestehe darin, dass die Bilder nicht realistisch genug sind – das stimmt aber überhaupt nicht. Die echte Lücke liegt in der Verschiebung der physikalischen Verteilung: Reibungskoeffizient, Elastizitätsmodul und Luftwiderstand in Simulationsengines sind künstlich festgelegte Idealwerte. Aber in der echten Welt ändern sich physikalische Parameter kontinuierlich und beeinflussen sich gegenseitig. Zum Beispiel ist die Reibung eines Gummistücks bei unterschiedlichen Temperaturen und Abnutzungsgraden nicht gleich – diese feinen Unterschiede kann die Simulation niemals zu 100 % nachbilden.

In öffentlichen Tests der Branche zeigte sich: Ein Robotermodell, das in der Simulationsumgebung eine Greif-Erfolgsrate von 98 % erreicht, fällt nach der Übertragung in die reale Umgebung oft direkt auf unter 60 %. Selbst mit Optimierung durch Domänenrandomisierung ist es schwer, die 85 %-Hürde zu durchbrechen – die verbleibende Lücke muss durch Feinabstimmung mit echten Daten gefüllt werden.

Die heute in der Branche beliebten geschlossenen Kreisläufe mit echten Daten und die Mischlösung „synthetisches Vortraining + echte Feinabstimmung“ mildern nur den Widerspruch, lösen das Problem aber nicht grundlegend.

Das Wachstumsgesetz der Bit-Welt besagt, dass die Grenzkosten gegen Null gehen – während das Kostengesetz der Atom-Welt lautet: Jeder Schritt vorwärts kostet echtes Geld. Dieser grundlegende Logikkonflikt ist eine unumgängliche Hürde für Weltmodelle.

Drei Wege, drei Philosophien der Weltwahrnehmung

Selbst mit einheitlicher Definition und ausreichenden Daten stellt sich eine tiefere Frage: Welche Architektur sollen wir überhaupt nutzen, um ein Weltmodell zu bauen?

Das Wesen dieser Frage lautet: Auf welcher Ebene soll die KI „die Welt repräsentieren“ – auf Pixelebene, auf der Ebene geometrischer Strukturen oder auf der Ebene abstrakter Zustände? Unterschiedliche Antworten führen zu völlig unterschiedlichen technischen Wegen, hinter denen sich ganz unterschiedliche grundlegende Philosophien verbergen.

Der erste Weg ist der pixelinteraktive Ansatz, vertreten durch Googles Genie 3, dessen grundlegende Logik lautet: „Sehen ist Sein“.

Die zugrundeliegende Architektur solcher Modelle basiert meist auf räumlich-zeitlichen Diffusionsmodellen: Auf dem traditionellen Bilddiffusion wird ein Aufmerksamkeitsmechanismus für die Zeitdimension hinzugefügt, sodass das Modell die Bewegungskontinuität zwischen Videobildern lernt. Nehmen wir Genie 3 als Beispiel: Es unterstützt multimodale Eingaben wie Text, Bild und Aktionsanweisungen und erzeugt interaktive Videos in 1080P-Auflösung. Nutzer können die Figuren im Bild über Tastatur und Maus steuern und interagieren lassen – das Modell generiert in Echtzeit logische Folgebilder, mit extrem starker Immersionswirkung.

Der Vorteil dieses Wegs ist die „schnelle Verwertbarkeit“: Szenarien wie Spiele, Inhaltsgenerierung und digitale Menschen lassen sich direkt nutzen. Außerdem ist die Hürde für Trainingsdaten niedrig – massenhaft Videos aus dem Internet können als Trainingsmaterial dienen, sodass das Modell schnell iteriert.

Aber der Nachteil ist fatal: Die Anpassung auf Pixelebene bedeutet nicht die Richtigkeit auf physikalischer Ebene. Es kann Bilder von zerbrechenden Tassen erzeugen, weiß aber nicht, warum die Scherben in diese Richtung fliegen – geschweige denn, welche unterschiedlichen Sprungwirkungen verschiedene Böden haben. Branchentests zeigen, dass in Sora-generierten Videos oft physikalische Fehler auftreten: Objekte durchdringen einander, der Impuls ist nicht erhalten, Licht und Schatten widersprechen sich. Wenn man damit Roboter bei der Arbeit leitet, ist das wie jemand, der nur Filme gesehen hat, eine Werkzeugmaschine bedienen zu lassen – es sieht so aus, als ob es funktioniert, aber jederzeit kann etwas schiefgehen.

Der zweite Weg ist der raumstrukturelle Ansatz, vertreten durch das Marble-Modell von Li Feifeis World Labs, dessen grundlegende Annahme lautet: „Struktur kommt vor Physik“.

Der