Gerade hat Li Feifei das Spiel komplett auf den Kopf gestellt! Das weltweit erste multimodale Weltmodell wurde veröffentlicht, sodass mit nur wenigen Fotos Hunderte von Kamerastandorten eingespart werden können.
Gerade noch haben Konkurrenten sich bis zur Erschöpfung darum gerissen, sekundenlange „Snack-Videos“ für die Unterhaltung zwischendurch zu generieren – da lächelt World Labs, das von Li Fei-Fei gegründet wurde, und fegt den Tisch leer:
Gerade eben ist Atlas, das weltweit erste multimodale Weltmodell, offiziell vorgestellt worden!
Offizieller Blog-Link 🔗 https://www.worldlabs.ai/blog/atlas
Gemäß der offiziellen Definition ist Atlas ein Omni-World-Modell für räumliche Intelligenz, das von Grund auf vortrainiert wurde. Es kann nativ Text, Bilder, Videos, Kameraposen und 3D-Tiefeninformationen verarbeiten und in ein und demselben Modell Weltgenerierung, räumliche Rekonstruktion und raumzeitliche Simulation durchführen.
Sehen wir uns zuerst die eindrucksvollste Demonstration an:
Camera Controlled Generation (kameragesteuerte Generierung).
Bisher war die Arbeit mit Videogenerierungsmodellen oft wie ein Glücksspiel. Man tippt demütig in das Eingabefeld für Prompts: „Die Kamera fährt langsam nach links nach oben und dreht sich um die Person in einem leichten Hochwinkel“ – und nach dem Drücken der Eingabetaste ist man dem Zufall ausgeliefert.
Im Gegensatz dazu geht Atlas so vor: Es verwendet direkt die „Parameter der Kamerapose“ als zugrundeliegende native Eingabe.
Welchen Winkel, welche Flugbahn und welche Geschwindigkeit wünschen Sie?
Geben Sie einfach die Koordinaten ein!
Geben Sie nur 1 bis 6 normale Fotos ein, legen Sie die Kameraführung fest, und Atlas kann Filme mit einer Länge von bis zu 1 Minute und einer Auflösung von 1440p generieren.
Das Bild bleibt stabil, die räumliche Geometrie ist nahtlos konsistent – es ist eine kameraführung auf Niveau von Cheat-Codes.
Noch beeindruckender ist seine Fähigkeit, Räume „aus dem Kopf zu ergänzen“.
Geben Sie ein Foto ein, das nur die Vorderseite eines Roboters zeigt? Atlas kann die komplette Rückseite des Roboters lückenlos ergänzen;
Geben Sie ein Foto von der Eines Pools ein? Mit seinem „Weltwissen“ im Kopf ergänzt es stillschweigend die nicht abgebildete Rasenfläche und die fernen Berge daneben.
Aus den von der offiziellen Seite veröffentlichten Demos geht hervor, dass Atlas bei Kamerabewegungen und räumlicher Konsistenz tatsächlich einen großen Schritt weiter ist als gewöhnliche Videogenerierungsmodelle.
Sobald die Kamera jedoch in Bereiche vordringt, die auf dem Originalfoto nicht abgebildet sind, muss Atlas tatsächlich noch auf das a-priori-Wissen des Modells zurückgreifen, um zu raten. Je größer die Perspektivenabweichung und je länger der Generierungspfad ist, desto leichter treten lokale geometrische Abweichungen, Veränderungen der Objektform und flackernde Texturen zutage.
Mit anderen Worten: Es generiert eher ein visuell plausibles dreidimensionales Weltmodell, das nicht unbedingt eine exakte digitale Kopie der ursprünglichen Welt ist.
Hinter all diesen Funktionen steht auch ein Branchenbegriff namens Spatial Context (räumlicher Kontext).
Große Sprachmodelle betrachten den vorhergehenden Text, um den folgenden zu ergänzen, während Atlas jedem Bild feste dreidimensionale Koordinaten und Tiefenwerte zuweist und im Kopf einen Raum mit Achsengittern aufbaut.
Um es noch deutlicher zu sagen: Viele der Fähigkeiten von Atlas basieren im Grunde auf Multiview-Synthese.
Es fügt Bilder und Videos aus verschiedenen Winkeln und Kamerapositionen gemeinsam in denselben dreidimensionalen Raum ein, bestimmt zuerst ihre relativen Positionen zueinander, ergänzt dann die nicht abgebildeten Bereiche und generiert weiter neue Perspektiven.
Bei Eingabe eines einzelnen Bildes verlässt es sich stärker auf das a-priori-Wissen des Modells, um die Welt „aus dem Kopf zu ergänzen“; sobald die Anzahl der eingegebenen Perspektiven steigt, arbeitet es eher wie eine Multiview-Fusion mit räumlichen Einschränkungen, die verstreute Bilder langsam zu einem zusammenhängenden, begehbaren dreidimensionalen Szenario zusammensetzt.
Sogar wenn Sie zwei völlig unzusammenhängende Fotos in den Raum werfen, kann Atlas zwangsläufig Korridore, Türen und Räume ergänzen, um die beiden Szenarien nahtlos miteinander zu verbinden.
Studierende der Regie-Fakultät werden hier schweigend verharren und langsam ein Fragezeichen machen: Bedeutet das, dass man zukünftig keine Aufnahmen mehr vor Ort machen muss, sondern die Kameraführung direkt am Computer „virtuell durchführen“ kann?
Darüber hinaus hat Atlas eine zweite Trumpfkarte: Spatial Reconstruction (räumliche Rekonstruktion).
Bei herkömmlicher 3D-Gaussian-Splatting (3D GS) oder Punktwolken-Scans muss man mit professionellen Geräten Dutzende Male um das Ziel herumlaufen und Hunderte bis Tausende von Fotos aufnehmen – das ist teuer und anstrengend.
Aber Atlas lächelt wieder geheimnisvoll: Weg damit, es gibt nicht so viele Regeln.
Die offizielle Seite stellt direkt ein Beispiel des Main Quad der Stanford University vor: Man gibt nur 2 bis 25 Fotos von normalen Aufnahmen aus der Perspektive von Touristen ein, und es lassen sich mühelos alle Details der Rasenfläche, der Arkaden und der Außenwand der Gedenkkirche wiederherstellen.
Anschließend steigt die Kamera direkt nach oben und führt eine virtuelle Rundfahrt aus der Vogelperspektive durch.
Auf zahlreichen öffentlichen Datensätzen wie DTU, ETH3D und ScanNet wurde speziell der Fehler bei der Rekonstruktion aus spärlichen Perspektiven (AbsRel ×10⁻³) gemessen: Atlas erzielte einen Wert von 25,3 (niedrigere Werte sind besser).
Im Vergleich dazu liegt Pi3X bei 28,7, Depth Anything 3 bei 39,3 und MapAnything sogar bei 47,7.
Zudem ist die Ausgabe direkt mit Punktwolken und 3D Gaussian Splatting kompatibel, lässt sich nahtlos in die hauseigene Marble-Plattform von World Labs einbinden und ermöglicht Echtzeit-Rendering mit hoher Bildrate.
Noch beeindruckender ist das Reframing Video im „Bullet-Time“-Stil.
Man braucht keine Ringanordnung aus Hunderten von Kameras wie in Hollywood: Forscher stellen einfach drei bis fünf normale Smartphones oder Actionkameras auf, stecken sie in den Rucksack und nehmen sie mit;
Nehmen Sie eine alltägliche Szene von spielenden Personen auf, und Atlas kann im virtuellen Raum beliebig zwischen Perspektiven wechseln und „Matrix“ originalgetreu nachbilden.
Natürlich ist das große Projekt, das Li Fei-Fei und ihr Unternehmen World Labs umsetzen, nicht darauf ausgerichtet, Hollywood die Arbeit an Spezialeffekten wegzunehmen. Ihr großes Ziel liegt bei dem größten Pain Point der aktuellen KI-Generation:
Verkörperte Intelligenz und Roboter.
Jeder, der heute an Roboter-Training arbeitet, weiß, dass das größte Problem der verkörperten Intelligenz darin besteht, dass es nicht genug virtuelle Trainingsumgebungen gibt.
Lässt man Roboter in Fabriken, Lagern und Haushalten wiederholt Fehler machen, ist die Datenerfassung langsam und teuer; trainiert man sie in Simulationsumgebungen, muss man zuerst viel menschliche Arbeit aufwenden, um 3D-Szenarien, Materialien, Beleuchtung und Objekte zu erstellen.
In der Branche gibt es sogar eine Schätzung: Wenn man vollständig auf herkömmliche Weise genügend Trainingsdaten für Roboter sammelt, können die Gesamtkosten bis zu 100 Billionen US-Dollar erreichen.
Der von Atlas vorgestellte Real-to-Sim-Ansatz macht einen Großteil der menschlichen Arbeit zum Erstellen von simulierten Welten überflüssig.
Nehmen Sie mit Ihrem Handy zwei 24-Fps-Videos von einer Fabrik oder einem Raum auf und geben Sie sie an das Modell weiter; Atlas gibt sofort einen hochpräzisen dreidimensionalen physischen Raum aus, in dem der Roboter in diesem Zwillingsraum ausgiebig „Karten durchlaufen“ und Fehler machen kann.
Sogar wenn der Roboter sich bewegt, kann Atlas sofort das RGB-Bild und das Tiefenbild rendern, das die Onboard-Kamera sehen sollte.
Wenn ein Roboterarm einen starren Kasten berührt, eine Schranktür mit Scharnier zieht oder einen weichen Schwamm drückt, kann Atlas alle entsprechenden Kraftrückmeldungen simulieren.
