Niemals ist es der Chip, der Roboter zum Stillstand bringt, sondern die physische Datenwüste. Li Feifei hat die zweistündige mühsame Straßenscan-Arbeit auf nur drei Fotos reduziert.

Martin Casado, Partner bei a16z, hat die drei Mitbegründer von World Labs – Fei-Fei Li, den Computer-Vision-Wissenschaftler Justin Johnson und Ben Mildenhall, den Pionier von NeRF (Neural Radiance Fields) – zu einem Podcast eingeladen. Kürzlich hat das Unternehmen von Fei-Fei Li gerade das neue Modell Atlas veröffentlicht, das in der Branche enorme Aufmerksamkeit erregt.

Die meisten kennen die Schwachstellen bestehender Videomodelle bereits gut: Die Bilder wirken zwar realistisch, aber im Grunde handelt es sich immer noch um ein „Zufallsgenerieren per Prompt-Eingabe“ – sobald die Kamera sich nur ein paar Mal dreht, stimmen Raum und Objekte nicht mehr überein; während herkömmliche 3D-Scans zwar realitätsgetreu sind, muss man mit dem Handy hunderte Fotos im Raum aufnehmen, was extrem aufwändig ist.

Genau dieses Problem versucht Atlas zu lösen: Es vereint „Inhaltsgenerierung“ und „3D-Rekonstruktion“ in einer einzigen Architektur. Sein zentrales Grundelement heißt „Neue-View-Vorhersage“ (New View Prediction) – egal wie viele Alltagsfotos man ihm gibt, sobald man eine Kamerakoordinate angibt, kann es ableiten, wie die Welt von dieser physischen Position aus aussehen würde.

Bei der Diskussion über die praktische Anwendung lenkt sich das Gespräch unweigerlich auf Roboter und verkörperte Intelligenz. Fei-Fei Li sagte in dem Gespräch offen, dass der tödlichste Engpass, der derzeit die praktische Umsetzung von Robotern behindert, weder die Rechenleistung noch die Chips sind, sondern die Datenwüste der physischen Welt. Die Erstellung realer Daten ist zu teuer und zu langsam, und die extrem schnelle „Real-to-Sim“-Fähigkeit, die Atlas zeigt, ist genau der kürzeste Weg, um den Datenhunger zu stillen.

Der aufschlussreichste Punkt des gesamten Gesprächs ist, dass sie die räumliche Intelligenz aus der Perspektive der Evolutionstheorie betrachten. Große Sprachmodelle haben durch die „Vorhersage des nächsten Tokens“ eine emergente Intelligenz hervorgebracht, und das Grundelement des 3D-Weltmodells könnte genau diese „Neue-View-Vorhersage“ sein. Wie Fei-Fei Li am Ende mit einer brillanten Metapher erwähnte: Die Natur hat Tieren Augen entwickelt, Bäumen aber keine Augen – denn sobald man sich im Raum bewegt, muss man lernen, neue Perspektiven vorherzusagen.

Kernpunkte im Überblick

• Abschied von der „Spielautomaten-artigen“ Zufallsgenerierung:  „In Atlas ist jedes Bild an eine strenge 3D-Kamerapose gebunden, das System lässt das Modell keineswegs willkürlich Bilder erfinden. Die inhaltliche Anordnung der Bilder, die Kameraausrichtung und die Bewegungsbahn sind alle präzise gesteuert, was sich grundlegend von der Erfahrung herkömmlicher Videomodelle unterscheidet, die immer wieder auf Zufall setzen.“
• Von hundert Fotos auf nur drei Aufnahmen:  Früher erforderte eine dichte 3D-Rekonstruktion, dass normale Nutzer hunderte von Fotos aufnahmen oder sogar zwei Stunden lang im Raum umhergingen – Atlas reduziert den Bedarf an Perspektiven um ein Vielfaches. Selbst bei einigen alten Fotos können tote Winkel, die die Kamera nie erfasst hat, durch die räumliche Generierungsfähigkeit lückenlos ergänzt werden.
• Die Datenwüste der physischen Welt:  „Mit einem weiteren Blick ist das größte Hindernis im Bereich der Robotik derzeit der Mangel an Daten. In Zukunft könnte der Engpass bei Chips liegen, aber im Moment ist es absolut der extreme Mangel an physischen Interaktionsdaten.“
• Räumliche Struktur in dynamischem Chaos gewinnen:  Um eine hochpräzise statische 3D-Geometrie zu erzeugen, darf man dem Modell nicht nur statische Daten zuführen. Wenn es während des Vortrainings mit einer riesigen Menge an dynamischen Welten in Kontakt kommt, lernt das Modell erst richtig, den Fluss der Zeit und die räumliche Struktur auf natürliche Weise zu entkoppeln.
• Vollständigkeit der räumlichen Intelligenz:  „Die Natur hat Tieren Augen gegeben, Bäumen aber keine Augen. Warum? Weil sobald man sich bewegt, sieht man völlig neue Perspektiven. Die Neue-View-Vorhersage ist die nächste Token-Vorhersage im Zeitalter der räumlichen Intelligenz.“

Im Folgenden die vollständige transkribierte Aufzeichnung des Gesprächs:

1 / Jedes Pixel in den realen Raum einbinden

Moderator: Kürzlich habt ihr ein bahnbrechendes Modell veröffentlicht, die Resonanz ist überwältigend, und Rückmeldungen aus allen Bereichen strömen stetig ein. Ich denke, unser heutiges Gespräch können wir zunächst mit dem gestern veröffentlichten Inhalt beginnen, dann den Entwicklungshintergrund nachvollziehen und uns schrittweise vorarbeiten. Justin, erzähl uns zuerst, was gestern veröffentlicht wurde und warum es so wichtig ist?

Justin Johnson: Gut. Atlas ist unser neues Weltmodell, seine Kernfähigkeiten gliedern sich in drei Bereiche: Generierung, Rekonstruktion und Simulation der Welt. Daraus ergeben sich mehrere Hauptfunktionen.

Erstens die kamerabedingte Generierung (camera-conditioned generation) auf Basis von Kamerabahnen. Man kann dem Modell ein Bild und eine Kamerabewegungsbahn eingeben und es anleiten, fortlaufende Videobilder aus den von einem festgelegten Perspektiven zu erzeugen.

Zweitens die spärliche 3D-Rekonstruktion (sparse 3D reconstruction). Durch Eingabe eines oder mehrerer Fotos – maximal 100 Fotos – aus realen Perspektiven lässt sich der reale Raum rekonstruieren. Diese Rekonstruktion kann entweder ein neues perspektivisches Navigationsvideo sein, das durch den Raum führt, oder direkt ein explizites 3D-Raummodell ausgeben.

Drittens die Simulationsausführung. Wir haben das im Internet viel beachtete „Bullet-Time“-Video gezeigt, darüber hinaus kann es auch für Robotersimulationen verwendet werden.

Moderator: Was ist ein „Bullet-Time“-Video?

Justin Johnson: Bullet-Time stammt aus dem Film *The Matrix*. Im ersten Teil gibt es eine berühmte Szene, in der Neo (der von Keanu Reeves gespielte Hauptcharakter) sich nach hinten lehnt, um Kugeln auszuweichen…

Moderator: Ach ja, genau diese Szene!

Justin Johnson: Genau diese Szene: Er fällt in Zeitlupe nach hinten, während die Kamera ihn rundherum umkreist. Damals wurde diese Szene in einem Filmstudio vor einem Greenscreen gedreht, mit hunderten von Kameras, die im Kreis aufgestellt waren. Als er nach hinten fiel, erfassten hunderte Kameras gleichzeitig alle Winkel, bis schließlich diese klassische Szene zusammengesetzt wurde.

Aber jetzt mit Atlas brauchen wir mindestens nur drei Kameras. Kein professionelles Filmstudio, kein Greenscreen und keine teure Kamerakalibrierung erforderlich. Man stellt einfach drei Kameras – selbst drei iPhones auf Stativen – auf, um etwas aufzunehmen, das gerade passiert, zum Beispiel wenn jemand einen Basketball wirft oder eine Erdbeere in eine Schüssel mit Milch wirft.

Ausschließlich mit diesen drei iPhone-Videos können wir die Komposition neu gestalten: Die Zeit anhalten, und in dem Moment, in dem die Milch spritzt, eine virtuelle Kamera durch die Szene navigieren lassen, um beeindruckende, zeitgefrorene Perspektiven zu erhalten. All das funktioniert nur mit wenigen Alltagskameras.

Moderator: Kannst du die Funktion von Atlas in einfachsten Worten zusammenfassen? Also was ist die Eingabe und was die Ausgabe?

Justin Johnson: Die Kern- und grundlegendste Logik von Atlas ist die „Neue-View-Vorhersage“ (new view prediction). Wir sind der Meinung, dass dies ein völlig neues grundlegendes Element (Primitive) in Basismodellen ist, das bisher niemand umgesetzt hat.

Wir wissen, dass große Sprachmodelle auf der „Vorhersage des nächsten Tokens“ (next-token prediction) basieren, Videomodelle auf der „Vorhersage des nächsten Bildes“ – und der Kern von Atlas ist genau diese „Neue-View-Vorhersage“.

Gibt man mehrere Perspektiven einer Szene oder eine Szenenbeschreibung ein, werden diese in sogenannten „räumlichen Kontext“ (spatial context) umgewandelt, um die von uns definierte Welt implizit zu beschreiben. Danach kann man eine virtuelle Kamera an einer beliebigen Position in Raum und Zeit platzieren, und Atlas kann ableiten, wie die Welt von dieser Position aus aussehen würde.

Moderator: Ben, es gibt unzählige Videomodelle auf dem Markt, die sich alle als Weltmodelle bezeichnen und behaupten, neue Perspektiven generieren zu können. Kannst du genauer erläutern, wo der grundlegende Unterschied zwischen Atlas und diesen früheren Modellen liegt?

Ben Mildenhall: Ja, ich denke, der von Justin gerade betonte „räumliche Kontext“ ist hier sehr entscheidend. Es gibt viele Videomodelle auf dem Markt, die meisten wurden ursprünglich berühmt, indem sie Videos aus einzelnen Bildern generierten oder Zwischenbilder zwischen Anfangs- und Endbildern erstellten. Jetzt tauchen auch Modelle auf, die omnidirektionale Referenzen unterstützen und 20, 30 oder sogar 50 Bilder verarbeiten können.

Aber der entscheidende Punkt von Atlas ist, dass jedes eingegebene Bild eine genaue räumliche physische Verortung (spatially grounded) hat. Es ist keineswegs ein normales Bild, das das Modell willkürlich ergänzen kann, und man muss sich auch nicht in den Prompts abmühen, das Modell zu zwingen, zu gehorchen.

In Atlas ist jedes Bild an die entsprechende 3D-Kamerapose (camera pose) gebunden, daher ist die Genauigkeit der räumlichen Rekonstruktion extrem hoch. Wenn wir zum Beispiel in jeder der vier Ecken des aktuellen Raums ein Foto aufnehmen und es dem Modell eingeben, kann es alles in diesem Raum exakt nachbilden; es rät nicht blind, was in einer anderen Ecke ist, verwechselt auch nicht die relativen Positionen von Objekten, sondern gibt getreu den Inhalt wieder, den man ihm übermittelt hat.

Gleichermaßen kann diese Fähigkeit auch für kreative Konzeptionen genutzt werden. Wenn man aus verschiedenen KI-generierten Bildern oder realen Szenen jeweils ein Foto auswählt, kann man durch genaue Festlegung ihrer relativen Positionen und Kamerapositionen im Raum eine vollständig kontrollierte Navigationskameraführung entwerfen. Wo der Bildinhalt platziert wird, wohin die Kamera blickt und wohin sie sich bewegt, ist alles präzise steuerbar.

Das unterscheidet sich stark von herkömmlichen Videomodellen – diese bieten nur eine höhere Textebene zur Steuerung, der Generierungsprozess funktioniert wie ein Spielautomat, der nur durch wiederholte Versuche auf Zufall setzt.

2 / Die visuelle Kluft von einem halben Jahrhundert: Die Vereinigung von Generierung und Rekonstruktion

Moderator: Ist das nur eine einfache Vergrößerung (scaled-up) des herkömmlichen Videomodells, oder verwendet es eine völlig neue Architektur?

Justin Johnson: Ich denke, es ist wirklich neu, aus mehreren Gründen.

Moderator: Gut, erläutere das genauer.

Justin Johnson: Erstens, wie wir bereits gesagt haben, realisiert es gemeinsam „Generierung“ und „Rekonstruktion“ in einem einzigen Modell. Wie Ben gesagt hat, gibt man ihm mehrere Perspektiven dieses Raums, und er kann alles, was man sieht, fehlerfrei rekonstruieren.

In der Geschichte der Computer-Vision war Rekonstruktion immer ein eigenes Teilgebiet mit speziellen Forschungsaufgaben und eigenen Modellen; Generierung hingegen ist die Stärke von Text-to-Video-Modellen und verschiedenen großen Diffusionsmodellen der letzten Jahre. Generative Modelle eignen sich sehr gut für kreative Anwendungen, zum Beispiel wenn ich mir etwas vorstellen möchte, das es noch nie gegeben hat.

Aber jetzt bringt Atlas diese zwei völlig unterschiedlichen Zweige der visuellen Intelligenz zum ersten Mal in ein einziges Modell, das mit einer einzigen Architektur gleichzeitig 3D-Rekonstruktion und Generierung unterstützt.

Um das zu erreichen, haben wir mehrere grundlegende Änderungen vorgenommen. Erstens musste es von Anfang an nativ multimodal ausgelegt sein. Es unterstützt nicht nur nativ Text, Bilder und Videos, sondern gibt die Kamerapose auch als native Eingabe direkt an das Modell weiter – soweit ich weiß, hat das bisher niemand schon in der Vortrainingsphase eingeführt – darüber hinaus behandelt es 3D selbst als eine native Modalität. Es ist also von Anfang an als echtes natives multimodales System konzipiert, was früher…

Moderator: Entschuldigung für die Unterbrechung, ich kenne mich in diesem Bereich nicht besonders gut aus. Was meinst du genau mit 3D? Handelt es sich um Tiefenkarten (depth maps), 3D-Modelle oder etwas anderes?

Justin Johnson: Ja, die von uns derzeit verwendete Darstellungsform sind Tiefenkarten.

Genauer gesagt: Wenn ein Bild 3D-Raumkoordinaten hat, die von einer virtuellen Kamera markiert sind, werden die räumliche Position der Kamera und ihre inneren und äußeren Parameter als native Eingabe an das Modell übergeben. Zu dieser Kameraposition gibt es einerseits ein RGB-Bild, das das Aussehen an dieser Stelle zeigt, andererseits eine Tiefenkarte, die die 3D-Raumstruktur aus dieser Perspektive angibt.

Auf diese Weise werden Text, Bilder, Videos und 3D-Kameraposen alle gemeinsam von demselben multimodalen Modell verarbeitet.

Fei-Fei Li: Ich möchte ein paar Worte hinzufügen, denn dieser Punkt, den Justin und Ben gerade besprochen haben, ist entscheidend, aber die Öffentlichkeit unterschätzt seine Bedeutung wahrscheinlich: Es ist das erste Mal, dass wir „Pixelgenerierung“ und „Pixelrekonstruktion“ wirklich in einem einzigen Modell vereint haben.

Das Gebiet der Computer-Vision entwickelt sich seit mehr als einem halben Jahrhundert, ich arbe