Neues Interview mit Li Fei-Fei: LLM sagt Token voraus, Weltmodell sagt „neue Perspektive“ voraus

Li Feifei will Atlas dieses Mal wirklich vollständig erklären.

Kaum wurde Atlas, das weltweit erste multimodale Weltmodell, veröffentlicht, hat sie zusammen mit den beiden anderen Mitbegründern von World Labs einen Besuch bei a16z absolviert, um ausführlich darüber zu sprechen, was Atlas genau ist, welche Kerntechnologien dahinterstecken und was es eigentlich bedeutet.

Von links nach rechts: Mitbegründer Justin Johnson und Ben Mildenhall, Li Feifei, Moderator Martin Casado

Der Inhalt ist sehr informativ, hier sind die wichtigsten Punkte für Sie zusammengefasst:

Die grundlegende Aktion von Atlas besteht darin, die Szene aus einer anderen Position weiter zu betrachten. LLM sagt das nächste Token voraus, Videomodelle sagen das nächste Frame voraus, während Atlas neue Perspektiven vorhersagt. Wenn Sie ihm einige Fotos geben, muss es verstehen, welche räumlichen Beziehungen zwischen diesen Bildern bestehen, und Ihnen dann zeigen, wie die Szene aus einer anderen Position aussehen würde.

Generierung und Rekonstruktion wurden zum ersten Mal in ein und demselben Modell vereint. In der Vergangenheit war die Generierung dafür zuständig, nicht existierende Bilder vorzustellen, und die Rekonstruktion dafür, reale Räume wiederherzustellen – beide Bereiche wurden von getrennten Forschungsgruppen jahrzehntelang untersucht. Atlas verbindet beide über die Kamerapose und verarbeitet gleichzeitig Text, Bild, Video und 3D.

Der Aufwand für die 3D-Erfassung kann um zwei Größenordnungen sinken. Früher musste man Hunderte oder sogar Tausende von Fotos um einen Raum herum aufnehmen, um ihn zu rekonstruieren; Atlas will diese Zahl auf einige Dutzend oder sogar nur wenige Bilder senken. Mit drei iPhones lassen sich auch Bullet-Time-Effekte wie in «Matrix» aufnehmen.

Es zielt nicht nur auf Film, Spiele und 3D-Erstellung ab. Nach Ansicht von Li Feifei ist der größte Engpass für Roboter derzeit Daten, nicht Chips. Atlas kann reale Umgebungen schneller in Simulationswelten überführen und durch Randomisierung eine große Anzahl von Trainingsszenarien erzeugen.

Das Endziel sind auch nicht nur realistischere Bilder. World Labs wird in den nächsten Schritten Dynamik, Bearbeitung und Interaktion ergänzen, damit das Modell nicht nur Welten erzeugt, sondern auch versteht, wie die Welt auf Handlungen reagiert. Einen Schritt weiter könnte der Simulator selbst sogar zu einem Planer werden.

Die ehrgeizigste Einschätzung steht aber ganz am Ende.

Sie stellen «Vorhersage neuer Perspektiven» auf die gleiche Stufe wie «Vorhersage des nächsten Tokens» und glauben, dass es ein grundlegendes Primitive für den Weg zur AGI sein könnte.

Ob diese Einschätzung Bestand hat, hängt von den nachfolgenden Modellen ab. Aber wenn Sie daran interessiert sind, wie sich Weltmodelle und räumliche Intelligenz entwickeln, lohnt sich dieses Gespräch zu lesen.

Im Folgenden finden Sie das bearbeitete vollständige Protokoll, viel Spaß beim Lesen.

Was ist Atlas und warum ist es wichtig

Moderator: Wer kann zuerst erklären, was gestern veröffentlicht wurde und warum es wichtig ist?

Justin: Atlas ist unser neues Weltmodell mit drei grundlegenden Fähigkeiten: Welten erzeugen, rekonstruieren und simulieren. Unter diesen drei Punkten gibt es mehrere wichtige spezifische Fähigkeiten. Es ist sehr gut in der Lage, unter Kamerabedingungen zu generieren. Sie können ein Bild und eine Kamerabewegungsbahn eingeben, um das Modell zu steuern und Videoframes entlang jeder gewünschten Perspektive zu erzeugen.

Es ist auch sehr gut in der Lage, dünnbesetzte 3D-Rekonstruktion durchzuführen. Sie können ein oder mehrere Bilder der realen Welt (bis zu 100 Frames) eingeben, um die reale Welt aus diesen verschiedenen Perspektiven zu rekonstruieren. Das Ergebnis der Rekonstruktion kann entweder ein Video sein, das durch diesen Raum führt, oder eine explizite 3D-Rekonstruktion dieses Raums.

Schließlich kann es auch zur Simulation verwendet werden. Wir haben einige großartige Bullet-Time-Videos gezeigt, die im Internet viel Aufmerksamkeit erregt haben, und auch Robotersimulationen demonstriert.

Moderator: Was ist ein Bullet-Time-Video?

Justin: Der Begriff stammt aus «Matrix». Im ersten Film gibt es eine berühmte Szene, in der Neo rückwärts fällt, erinnern Sie sich? Diese Szene ist in Zeitlupe, und die Kamera umkreist ihn vollständig. Um diese Szene aufzunehmen, haben sie Hunderte von Kameras in einem Kreis aufgestellt. Neo fällt im Fotostudio rückwärts, Hunderte von Kameras filmen ihn vor einem Greenscreen aus verschiedenen Winkeln, und dann werden die Bilder aller Kameras kombiniert, um diese klassische Szene im Film zu erstellen.

Mit Atlas braucht man heute nur noch drei Kameras. Kein Fotostudio, kein Greenscreen und keine teure Kalibrierung sind erforderlich. Wir können wirklich drei iPhones auf Stative stellen und direkt mit der Aufnahme beginnen.

Sie können eine Person beim Basketballwurf filmen oder eine Erdbeere, die in eine Schüssel Milch fällt. Nachdem wir diese drei iPhone-Videos erhalten haben, können wir die Aufnahme neu gestalten: Zum Beispiel die Zeit einfrieren und die Kamera in dem Moment, in dem die Milch spritzt, in die Szene fliegen lassen, um atemberaubende Bilder mit eingefrorener Zeit zu erhalten. All das gelingt mit nur wenigen Kameras.

Moderator: Können Sie auf einfachste Weise erklären, was Atlas genau tut? Was sind die Eingaben und was sind die Ausgaben?

Justin: Der Kern und das Grundlegendste an Atlas ist die Vorhersage neuer Perspektiven. Wir glauben, dass dies ein aufregendes, sehr grundlegendes neues Primitive ist, ein grundlegendes Modellprimitive, das noch nie zuvor auf diese Weise realisiert wurde. Wir wissen, dass LLM auf der Vorhersage des nächsten Tokens basieren; Videomodelle basieren auf der Vorhersage des nächsten Frames.

Was Atlas wirklich tut, ist die Vorhersage neuer Perspektiven. Wenn Sie ihm mehrere Perspektiven einer Szene oder eine Beschreibung der Szene geben, gelangen diese Eingaben in das sogenannte räumliche Kontext, das implizit die Welt beschreibt, über die wir sprechen. Anschließend können Sie eine virtuelle Kamera an beliebiger Stelle in Raum und Zeit platzieren, und Atlas wird verstehen, wie die Welt aus dieser Zeit und dieser räumlichen Position aussehen sollte.

Moderator: Ben, es gibt heute unzählige Videomodelle. Alle behaupten, Weltmodelle zu sein und neue Perspektiven erzeugen zu können. Können Sie genauer aufschlüsseln, worin es sich von all den vorherigen Modellen unterscheidet?

Ben: Der räumliche Kontext, von dem Justin gerade gesprochen hat, ist hier besonders wichtig. Viele Videomodelle wurden ursprünglich berühmt, weil sie Videos aus einem einzelnen Bild erzeugen oder zwischen dem ersten und letzten Frame interpolieren konnten. Heute sehen wir erste Modelle, die mehrere Referenzbilder als Eingabe verarbeiten können, zum Beispiel 20, 30 oder 50 Bilder.

Der Schlüssel zu Atlas liegt aber darin, dass jedes eingegebene Frame eine klare räumliche Bedeutung hat. Es ist nicht nur ein Bild, das das Modell beliebig interpretieren kann, und Sie müssen nicht stundenlang mit Text-Prompts kämpfen, um das Modell dazu zu bringen, auf eine bestimmte Weise zu arbeiten. In Atlas ist jedes Bild mit einer dreidimensionalen Kamerapose verknüpft. Das bedeutet, dass Sie Rekonstruktionsaufgaben mit extrem hoher Genauigkeit durchführen können.

Wenn wir zum Beispiel ein Foto in jede der vier Ecken dieses Zimmers aufnehmen und diese vier Perspektiven in das Modell eingeben, kann es alles im Raum, das Sie gesehen haben, exakt wiedergeben. Es wird nicht raten, was sich in der anderen Ecke befindet oder welche Beziehungen zwischen Objekten bestehen, sondern genau den Inhalt reproduzieren, den Sie bereitgestellt haben.

Gleichermaßen können Sie es auch für kreative Arbeit und Vorstellungen verwenden. Nehmen Sie zwei Fotos aus verschiedenen KI-generierten Ergebnissen oder von verschiedenen realen Orten, weisen Sie ihnen Positionen zu, gestalten Sie die Szene und erstellen Sie durchgehende Aufnahmen mit klarer kreativer Absicht. Diese Aufnahmen werden vollständig davon gesteuert, wo Sie den Inhalt exakt platzieren und wohin die Kamera blickt und sich bewegt.

Das unterscheidet sich stark von Videomodellen. Letztere verfügen normalerweise nur über eine übergeordnete Textsteuerung, Sie müssen ständig neu generieren, und das Erlebnis ähnelt eher dem Spielen an einem Spielautomaten.

Ein vergrößertes Videomodell oder eine neue Architektur

Moderator: Ist dies nur ein logischer, größerer Ausbau eines traditionellen Videomodells oder eine völlig neue Architektur?

Justin: Ich denke, es ist etwas ziemlich Neues, und das hat mehrere Gründe. Zuerst sprechen wir ständig davon, dass es in ein und demselben Modell gleichzeitig Generierung und Rekonstruktion durchführt. Wie Ben sagte: Wenn Sie ihm mehrere Perspektiven dieses Zimmers geben, kann es alles im Raum exakt so rekonstruieren, wie Sie es gesehen haben.

Historisch gesehen war die Rekonstruktion immer ein eigenes Teilgebiet der Computer Vision mit eigenen spezialisierten Aufgaben und Modellen. Die Generierung ist das, worin alle Text-zu-Video-Modelle gut sind, und worin die großen Diffusionsmodelle der letzten Jahre hervorragende Leistungen erbracht haben. Sie eignen sich hervorragend für kreative Anwendungen: Ich stelle mir etwas vor, das noch nie zuvor existiert hat.

Mit Atlas haben wir zum ersten Mal diese beiden Teile der visuellen Intelligenz in ein und demselben Modell vereint. Es kann in derselben Architektur gleichzeitig 3D-Rekonstruktion und Generierung durchführen. Um dies zu erreichen, mussten wir einige Änderungen vornehmen.

Erstens mussten wir es von Anfang an als multimodales Modell entwerfen. Es verarbeitet nativ Text, Bilder und Videos und akzeptiert Kameraposen als native Eingabe des Modells. Ich glaube, niemand hat das bisher in der Vor-Trainingsphase getan. Es behandelt 3D auch als natives Modalität. Es ist also von Anfang an auf eine Weise als nativ multimodal konzipiert, die ich für beispiellos halte.

Moderator: Entschuldigung, ich kenne mich in diesem Bereich nicht so gut aus. Was meinen Sie mit 3D – Tiefe, Modell oder etwas anderes?

Justin: Die Darstellung, die wir derzeit verwenden, ist eine Tiefenkarte. Angenommen, es gibt ein Bild, dann teilt uns die zugehörige virtuelle Kamera ihre Position im 3D-Raum mit. Die Position und Parameter der Kamera sind native Eingaben des Modells. Mit dieser Kameraposition können gleichzeitig RGB-Bilder und Tiefenkarten verknüpft werden. Das RGB-Bild zeigt Ihnen, wie die Szene aus dieser Position im Raum aussieht; die Tiefenkarte zeigt Ihnen die dreidimensionale räumliche Struktur, die Sie aus dieser Position sehen. Also Text, Bild, Video, 3D und Kamera – all diese Modalitäten werden gemeinsam multimodal verarbeitet.

Li Feifei: Ich möchte noch etwas hinzufügen. Was Justin und Ben gerade gesagt haben, ist extrem wichtig, aber die Bedeutung davon wird noch nicht ausreichend gewürdigt: Im Bereich der Computer Vision haben wir zum ersten Mal die Vereinheitlichung von Pixelgenerierung und Pixelrekonstruktion erreicht.

Dieses Gebiet existiert seit mehr als einem halben Jahrhundert. Ich arbeite seit Jahrzehnten hier, und ich kann nicht zählen, wie viele Doktorarbeiten sich mit Rekonstruktionsproblemen oder der Synthese neuer Perspektiven befasst haben. Außerdem gibt es in unserem Bereich traditionell viele verschiedene Forschungslinien. Auf Konferenzen zur Computer Vision sehen Sie Richtungen für Pixelgenerierung, Erkennung und 3D-Rekonstruktion.

Dies ist ein elegantes Modell. Es verknüpft und vereinheitlicht die beiden Probleme Rekonstruktion und Generierung, indem es Perspektiven und Perspektivschätzungen als Anker verwendet – das ist sehr leistungsstark.

Räumliche Intelligenz und die Bedeutung der Vorhersage neuer Perspektiven

Moderator: Können wir einen Schritt zurückgehen und den Hintergrund erg