NVIDIA, Baidu, Unitree... 32 Weltmodelle enthüllen die Trumpfkarten der physischen KI
Wenn ein Roboter einen Becher greifen soll, muss er weit mehr Probleme lösen als nur Objekte zu erkennen: Wo befindet sich der Becher, aus welcher Richtung streckt sich der Manipulator aus, wann schließen sich die Greifbacken und stößt er während der Bewegung möglicherweise an den Tischrand. Wenn ein autonomes Fahrzeug eine Kreuzung passiert, muss es ebenfalls beurteilen: Wenn es jetzt beschleunigt, wie werden sich die neben ihm befindlichen Fahrzeuge und Fußgänger im Anschluss verhalten.
Diese Art von KI, die Wahrnehmung, Entscheidungsfindung und Handlung in der realen Umgebung erfordert, wird üblicherweise als Physikalische KI bezeichnet. Menschliche Roboter, autonome Fahrzeuge, Manipulatoren und Drohnen sind alle ihre Anwendungsträger. Gewicht, Trägheit, Reibung und Kollision wirken sich direkt darauf aus, ob sie eine Aufgabe erfolgreich abschließen können.
Weltmodelle sind eine Kategorie von Modellen, die KI bei der Vorhersage von Umweltveränderungen unterstützen. Man kann sie als einen im System integrierten Simulator verstehen, der durch Daten lernt. Er nimmt aktuelle Beobachtungen entgegen, kombiniert diese mit Bedingungen wie Handlungen, um abzuleiten, was als Nächstes passieren könnte, und liefert Grundlagen für Planung, Training und Bewertung.
Am Beispiel des Greifens eines Bechers kann das Modell versuchen, vorherzusagen: Ob der Manipulator den Becher erreichen kann, wenn er sich entlang einer bestimmten Bahn bewegt; ob der Becher sich mitbewegt, nachdem die Greifbacken ihn angehoben haben, und ob er möglicherweise herunterrutscht. Wenn die zukünftigen Ergebnisse, die zu den Kandidatenhandlungen gehören, an das Planungssystem zur Vergleichung übergeben werden, besteht die Chance, ungeeignete Lösungen vor der tatsächlichen Ausführung zu erkennen.
Die Ausgabformen dieser Vorhersagen sind vielfältig. Einige Modelle generieren zukünftige Videos, andere konstruieren erkundbare dreidimensionale Szenen, wieder andere stellen Umweltveränderungen in komprimierten abstrakten Merkmalen dar. Dementsprechend untersuchen Forscher die Konsistenz von Bild und Raum, die durch Handlungen verursachten Veränderungen und ob die Vorhersagen dem System helfen können, bessere Entscheidungen zu treffen.
Weltmodelle können zudem Trainingserfahrungen liefern. Roboter können in den vom Modell generierten Umgebungen wiederholt Versuche durchführen, und Forscher können Aufgabendaten generieren, die schwer zu erfassen sind, oder Strategien vor der Bereitstellung bewerten. Einige Teams trainieren zukünftige Vorhersage und Handlungsgenerierung gemeinsam weiter, sodass das Modell gleichzeitig lernt, wie sich die Umgebung verändert und wie der Roboter handelt.
Diese Fähigkeiten weisen noch spezifische Einschränkungen auf: Objekte können sich während der Interaktion verformen oder verschwinden, Kollisionen und Gleitvorgänge können ungenau simuliert werden, und fortlaufende Vorhersagen sammeln auch Fehler an. Daher muss der Anwendungswert eines Ergebnisses unter Berücksichtigung seines Nutzens für reale Aufgaben, seines Anwendungsbereichs und seiner Betriebskosten betrachtet werden.
Am 3. November 2026 hat Baidu erstmals Apollo World vorgestellt, das es autonomen Fahrzeugen ermöglicht, fortlaufende Fahrten in virtuellen Städten abzuschließen; vor einer Woche veröffentlichte Google DeepMind Genie 4, mit dem Benutzer das Wetter ändern oder Figuren hinzufügen können, während sie die Umgebung erkunden. Die Forschung an Weltmodellen wird derzeit in Richtungen wie Robotersteuerung, Simulation des autonomen Fahrens und Generierung von interaktiven Umgebungen vorangetrieben.
Im Folgenden werden unter Berücksichtigung von technischer Repräsentativität, öffentlichen Experimenten, Anwendungsfortschritten und Ökosystemeinflüssen 32 Modelle und Forschungssysteme ausgewählt, darunter repräsentative frühe Studien. Die Nummern dienen nur der Auflistung und stellen keine Rangfolge der leistungsübergreifenden Leistung über verschiedene Aufgaben hinweg dar. Die Daten sind bis zum 4. November 2026 gültig.
01 NVIDIA Cosmos 3: Weltvorhersage, Schlussfolgerung und Handlungsgenerierung in dasselbe System integrieren
Am 1. Juni 2026 veröffentlichte NVIDIA Cosmos 3. Diese Modellgeneration verwendet eine gemischte Transformer-Architektur, die visuelle Schlussfolgerung, Weltgenerierung und Handlungsvorhersage kombiniert und in der Lage ist, Text, Bilder, Videos, Umgebungsgeräusche und Handlungsinformationen zu verarbeiten und zu generieren.
Ihre Zielkunden umfassen Entwickler für Roboter, autonomes Fahren und industrielle Bildverarbeitung: Sie kann nicht nur vorhersagen, wie sich die Umgebung als Nächstes verändert, sondern auch Trainings- und Bewertungsdaten generieren und als Grundlage für Welt-Handlungsmodelle dienen. NVIDIA hat Versionen wie Super und Nano sowie offene Modellressourcen bereitgestellt. Cosmos deckt Modelle, Datenverarbeitung und Bereitstellungswerkzeuge ab, sodass Entwickler mehrere Aufgaben der Physikalischen KI rund um dasselbe System erledigen können.
02 Google DeepMind Genie 4: Interaktive Welt, die sich mit den Operationen weiterentwickelt
Am 27. Oktober 2026 veröffentlichte Google DeepMind Genie 4. Benutzer können während des Generierungsprozesses die Perspektive verschieben, das Wetter ändern sowie Figuren und Objekte hinzufügen. Das Modell leitet die Szenenveränderungen weiter und generiert gleichzeitig Umgebungsgeräusche, Musik und Dialoge.
Genie 4 führt die Fähigkeiten der Gemini-Serie ein und verbessert die Kontinuität von Bildern, Verhaltensweisen und Szenen. Seine Anwendungsbereiche umfassen Trainingsumgebungen für Roboter und intelligente Agenten sowie die Erstellung interaktiver Inhalte. Bei der Veröffentlichung wurde das Modell in Form einer Forschungsvorschau für vertrauenswürdige Tester freigegeben. Es demonstriert die Fähigkeit zur fortlaufenden Generierung und Echtzeit-Intervention in Umgebungen. Der Trainingseffekt von Robotern muss jedoch noch in spezifischen Aufgaben bewertet werden.
03 Meta V-JEPA 2 / 2.1: Die physische Welt in abstrakten Merkmalen vorhersagen
Meta veröffentlichte V-JEPA 2 im Juni 2025 und V-JEPA 2.1 im März 2026 weiter. Diese Serie kodiert Videos in abstrakte Merkmale, lernt die Bewegung von Objekten und Szenenveränderungen und nutzt dann die Vorhersageergebnisse zur Unterstützung der Planung, um die Abhängigkeit von der pixelgenauen Generierung von Bildern zu verringern.
V-JEPA 2 wird zuerst mit Daten wie Videos von mehr als 1 Million Stunden vortrainiert, bevor Roboteraktionsdaten hinzugefügt werden, um Greif- und Ablegeexperimente durchzuführen. Die Version 2.1 konzentriert sich auf die Verbesserung lokaler räumlicher Merkmale, Tiefenverständnis und zeitliche Konsistenz und wird für die Forschung an Manipulatorplanung und Navigation verwendet. Code und Modelle sind öffentlich zugänglich und repräsentieren die Weltmodelllinie der prädiktiven visuellen Repräsentation.
04 World Labs Atlas: Bilder, Videos und dreidimensionalen Raum miteinander verbinden
Am 1. September 2026 veröffentlichte World Labs Atlas. Das Modell verarbeitet nativ Text, Bilder, Videos und dreidimensionale Informationen und organisiert die Eingaben in einen gemeinsamen räumlichen Kontext, um neue Perspektiven zu generieren, Szenen zu rekonstruieren und raumzeitliche Veränderungen zu simulieren.
Atlas kann basierend auf einem oder mehreren Bildern das Bild generieren, das an einer angegebenen Kameraposition sichtbar ist, und auch explizite dreidimensionale Ergebnisse ausgeben. Das Unternehmen zeigte kameragesteuerte Videos von maximal etwa einer Minute Länge in 1440p sowie den Prozess zur Umwandlung realer Szenen in Simulationen für Roboter. Atlas wird nachfolgende Produkte wie Marble unterstützen und bei der Veröffentlichung die Bewerbung für eine frühe Erfahrung öffnen. Sein Hauptanwendungsbereich liegt in der räumlichen Generierung, Rekonstruktion und dem Aufbau von Simulationsszenen.
05 Odyssey-3: Von der Weltsimulation zu Experimenten mit Manipulatoren und Fahrzeugen erweitern
Odyssey veröffentlichte Odyssey-3 am 8. Oktober 2026. Das Modell verwendet ein autoregressives Diffusions-Transformer, um basierend auf vorherigen Beobachtungen und neuesten Eingaben vorherzusagen, wie sich Objekte bewegen, interagieren und wie sich die Szene weiterentwickelt.
Neben Echtzeit-Interaktionsumgebungen zeigte das Unternehmen auch Experimente zur Manipulatorbedienung, zu humanoiden Robotern und zur Fahrzeugsteuerung. Zum Beispiel wurde unter Einfrierung des Hauptteils des Weltmodells eine Fahrstrategie mit 20 Stunden Fahrdaten trainiert, um geschlossene Experimente auf realen Straßen in Indien durchzuführen. Diese Ergebnisse zeigen den Pfad der Anpassung von Weltmodellen an verschiedene Hardware. Odyssey-3 bietet derzeit eine Forschungsvorschau, und die zugehörigen Fähigkeiten stammen von den vom Unternehmen offengelegten Experimenten.
06 Runway GWM-Serie und Praxis-1: Von der interaktiven Simulation zur Roboterbedienung erweitern
Die GWM-1-Familie von Runway umfasst drei Richtungen: erkundbare Umgebungen, virtuelle Charaktere und Roboterbedienung. GWM Robotics generiert zukünftige interaktive Bilder basierend auf Roboterhandlungen, unterstützt mehrere Perspektiven und lange Kontexte und dient der Strategiebewertung, der Erweiterung synthetischer Daten und der visuellen Grundlage für Roboterstrategien.
Im September 2026 stellte das Unternehmen weiter das Welt-Handlungsmodell Praxis-1 vor, das Videovortraining für die Steuerung realer Roboter einsetzt. Bei der Veröffentlichung wurde das Modell mit frühen Partnern getestet, und die öffentlichen Gewichte gehören noch zu den nachfolgenden Plänen. GWM Worlds 2, das im selben Monat veröffentlicht wurde, richtet sich an Echtzeit-audiovisuelle Interaktionsumgebungen und bietet kontinuierliche Generierung in 720p mit 24 Bildern pro Sekunde.
07 Waymo World Model: Die Welt generieren, die von Kamera und LiDAR gemeinsam erfasst wird
Am 6. Februar 2026 machte Waymo das Waymo World Model öffentlich. Es basiert auf Genie 3, wurde für Szenen des autonomen Fahrens angepasst und kann gleichzeitig Kamerabilder und LiDAR-Daten generieren.
Ingenieure können Fahrhandlungen, Straßenlayouts und Textanweisungen anpassen, um seltene Szenen wie entgegenfahrende Fahrzeuge, stehendes Wasser und extremes Wetter zu simulieren. Sie können auch von derselben echten Aufzeichnung ausgehen, um zu testen, was passieren würde, wenn eine andere Fahrroute gewählt würde. Dieses Modell dient dem Simulationssystem für autonomes Fahren von Waymo und konzentriert sich darauf, Testfälle zu erweitern, die durch Straßenerfassung schwer abzudecken sind.
08 Wayve GAIA-4: Die Entscheidungen des Fahrmodells die nachfolgende Simulation verändern lassen
Wayve veröffentlichte GAIA-4 am 3. August 2026. Es baut Simulationsausgangspunkte aus echten Sensoraufzeichnungen auf und verbindet das Fahrmodell mit einem geschlossenen Regelkreis: Nachdem das Fahrzeug Bremsen oder Lenken gewählt hat, ändern sich die nachfolgend empfangenen Perspektiven und Sensorinformationen entsprechend.
GAIA-4 unterstützt eine Bewertungsmethode, die die ursprünglichen Bahnen anderer Verkehrsteilnehmer beibehält, um die sichere kritische Ereignisse leicht reproduzieren zu können. Es kann auch Verkehrsteilnehmer aktivieren, die auf das Verhalten des eigenen Fahrzeugs reagieren, um interaktive Szenen wie Spurwechsel zu untersuchen. Wayve nutzt es zur Analyse von Ereignissen, bei denen Sicherheitsmitarbeiter eingreifen, zur erneuten Prüfung von Modellaktualisierungen und zum Vergleich der Folgen verschiedener Fahrentscheidungen in derselben Szene.
09 Waabi Copilot4D: Den nächsten Schritt des dreidimensionalen Punktwolks direkt vorhersagen
Copilot4D ist die von Waabi veröffentlichte Forschung an vierdimensionalen Weltmodellen, die auf der ICLR 2024 vorgestellt wurde. Es wandelt LiDAR-Punktwolken in diskrete Repräsentationen um, nutzt Diffusionsmodelle zur Vorhersage zukünftiger Beobachtungen und lernt die Veränderungen der Straßenumgebung im dreidimensionalen Raum und in der Zeit.
Das Modell kann bedingt durch Kandidaten-Fahrhandlungen die Umgebung ableiten, nachdem verschiedene Handlungen ausgeführt wurden. Zum Beispiel, wie das nachfolgende Fahrzeug reagieren könnte, wenn das eigene Fahrzeug abrupt bremst. Das Team hat Tests auf Datensätzen wie nuScenes, KITTI und Argoverse 2 durchgeführt. Diese Forschung bietet einen Pfad zum Lernen physikalischer Dynamik aus Sensordaten und lässt die Weltmodellierung für autonomes Fahren auch Beobachtungsformen abdecken, die über Videos hinausgehen.
10 1XWM: Zuerst Aufgabenvideos generieren, dann in Handlungen von humanoiden Robotern umwandeln
1X stellte im Januar 2026 das 1XWM vor, das in den NEO-Roboter integriert ist. Das System empfängt Textanweisungen und Ausgangsbilder, generiert zukünftige Videos zur Ausführung der Aufgabe und wandelt dann über ein inverses Dynamikmodell die Bildveränderungen in Handlungsbahnen des Roboters um.
Sein Training kombiniert Internetvideos, menschliche Daten aus der ersten Perspektive und NEO-Daten. In der im Januar vorgestellten Version benötigt das Weltmodell etwa 11 Sekunden, um ein 5-Sekunden-Video zu generieren, und die Handlungsextraktion dauert weitere etwa 1 Sekunde. Die Reaktionsgeschwindigkeit steht noch im Mittelpunkt der Verbesserung. Im Juni 2026 kündigte 1X die Gründung eines Weltmodell-Labors an, um den Lernprozess zwischen Vortraining, Roboterbereitstellung und Datenrückgewinnung weiter auszubauen.
11 NVIDIA DreamDojo: Massive menschliche Videos zum Trainieren von Robotersimulatoren verwenden
DreamDojo, das im Februar 2026 vorgestellt wurde, ist ein universelles Weltmodell für die Vorhersage von Roboterinteraktionen. Die Forschung basiert auf Cosmos-Predict2.5, wird mit etwa 44.700 Stunden menschlicher Interaktionsvideos vortrainiert und dann über Roboterdaten angepasst.
Gegeben eine Roboterhandlung, sagt DreamDojo die entsprechende Umweltveränderung voraus. Das Team verbessert die Inferenzgeschwindigkeit durch Destillation und nutzt es für interaktive Fernsteuerung, Strategiebewertung und modellbasierte Planung. Im Vergleich zur Generierung allgemeiner Szenen konzentriert es sich mehr darauf, ob Handlungen vernünftige Objektveränderungen hervorrufen können und ob es Objekte und Interaktionen verarbeiten kann, die in den Trainingsdaten des Zielroboters nicht abgedeckt sind. Das Projekt hat Code und Modellressourcen öffentlich gemacht.
12 Ant Lingbo LingBot-World 2.0: Die Interaktionslänge der Echtzeitwelt erweitern
LingBot-World 2.0, auch LingBot-World-Infinity genannt, wurde im Juli 2026 mit technischem Bericht, Inferenzcode und Modellen veröffentlicht, im September wurden weitere Modellversionen ergänzt. Es verbessert die Generierungsqualität und Reaktionsgeschwindigkeit bei fortlaufender Interaktion durch kausales Vortraining und Destillation.
Die offizielle Demonstrationskonfiguration unterstützt Videoströme in 720p mit 60 Bildern pro Sekunde. Die Interaktion umfasst Bewegungen, mehr Charakterhandlungen und textgesteuerte Ereignisse. Außerdem werden intelligente Agenten eingeführt, die jeweils für das Verhalten von Charakteren und Umweltveränderungen zuständig sind. Seine Hauptergebnisse konzentrieren sich auf nachhaltig erkundbare interaktive Umgebungen. Das Projekt öffnet Modelle verschiedener Größen und Typen, die aktuelle Lizenz ist auf nicht-kommerzielle Zwecke beschränkt.
13 Tencent Hunyuan HY-World: Speicherbare und bearbeitbare dreid