Drei Mobiltelefone reproduzieren den „Bullet Time“-Effekt, und das neue Modell Atlas des Forschungsteams von Li Feifei rekonstruiert eine dreidimensionale Welt anhand nur weniger Fotos.
In der neuesten Folge von a16z teilten die Mitbegründer von World Labs, Fei-Fei Li, Justin Johnson und Ben Mildenhall, gemeinsam mit dem allgemeinen Partner von a16z, Martin Casado, ihre zentralen Erkenntnisse zur räumlichen Intelligenz: KI soll nicht nur Bilder erzeugen, die realistisch aussehen, sondern auch verstehen, wie dieselbe Welt aus verschiedenen Positionen und zu verschiedenen Zeiten aussieht. Das neue Modell Atlas integriert Generierung und 3D-Rekonstruktion auf der Grundlage der „Vorhersage neuer Perspektiven“, sodass Anwendungen wie die Rekonstruktion von Szenen aus wenigen Fotos und die Erstellung von „Bullet-Time“-Effekten mit drei Smartphones möglich werden. Ihrer Meinung nach kann dieser Weg Kreativität, Design und Robotertraining weiter verbinden; dennoch sind ausgereiftere dynamische Simulationen, Bearbeitbarkeit und Interaktionsfähigkeit noch weiterzuentwickeln, und der Hauptengpass bei der weiteren Vergrößerung des Modellumfangs liegt in der Trainingsrechenleistung.
Dieser Artikel wurde aus a16z übersetzt, der Original-Link lautet https://www.youtube.com/watch?v=qn1QDDBnTA0, im Folgenden finden Sie die übersetzte Fassung.
Atlas: Aus wenigen Fotos eine 3D-Welt erzeugen
Martin Casado: Gestern war ein großer Tag für euch. Ihr habt ein neues Spitzenmodell veröffentlicht, das eine sehr positive Resonanz ausgelöst hat und die Aufmerksamkeit weiter steigert. Ich denke, wir sollten zuerst klarstellen, was genau veröffentlicht wurde, bevor wir darauf zurückkommen, wie es zu diesem Stand gekommen ist. Justin, kannst du zuerst vorstellen, was gestern veröffentlicht wurde und warum es wichtig ist?
Justin Johnson: Atlas ist unser neuestes Weltmodell, das im Grunde drei Dinge kann: Welten erzeugen, Welten rekonstruieren und Welten simulieren. Konkret verfügt es über mehrere Hauptfähigkeiten. Zuerst ist es sehr gut darin, Erzeugungen entsprechend den Kamerabedingungen durchzuführen. Du kannst ein Bild eingeben und eine Kamerabewegungsbahn angeben, mit der du das Modell leitest, sodass es Videobilder entlang jeder von dir gewünschten Perspektive erzeugt. Zweitens ist es sehr gut darin, 3D-Rekonstruktionen mit wenigen Bildern durchzuführen. Du kannst ein oder mehrere Bilder der realen Welt eingeben (bis zu 100 Frames), sodass es die reale Szene daraufhin rekonstruiert. Das Rekonstruktionsergebnis kann entweder ein Video sein, das durch diesen Raum führt, oder eine klare 3D-Darstellung dieses Raums. Schließlich kann es auch für Simulationen verwendet werden. Wir haben sehr coole „Bullet-Time“-Videos gezeigt, die im Internet viel Aufmerksamkeit erregt haben, und auch Anwendungen in der Robotersimulation demonstriert.
Martin Casado: Was bedeutet ein „Bullet-Time“-Video?
Justin Johnson: Der Ausdruck stammt aus *Matrix*. Im ersten Film gibt es eine berühmte Szene, in der Neo rückwärts fällt, die Bewegung verlangsamt wird und die Kamera um ihn herumkreist. Damals wurden Hunderte von Kameras im Kreis aufgestellt, damit er diese Aktion im Studio vor einem Greenscreen ausführen konnte, und mit den Aufnahmen dieser Kameras aus verschiedenen Winkeln wurde diese klassische Szene erstellt. Aber jetzt kann man mit Atlas einen ähnlichen Effekt mit nur drei Kameras erzielen. Kein Studio, kein Greenscreen und kein aufwändiger Kalibrierungsprozess sind erforderlich. Wir können sogar drei iPhones auf Stativen aufstellen, um etwas aufzunehmen, das gerade passiert, zum Beispiel wenn jemand einen Basketball wirft oder eine Erdbeere in eine Schüssel mit Milch fällt. Dann können wir allein mit diesen drei von iPhones aufgenommenen Videos die Kameraführung neu gestalten: Zum Beispiel die Zeit an dem Moment anhalten, in dem die Milch aufspritzt, und die Kamera nach vorne fahren, um ein beeindruckendes Bild der eingefrorenen Zeit zu erhalten. Der gesamte Prozess erfordert nur wenige Kameras.
Martin Casado: Kannst du in einfachsten Worten erklären, was Atlas tut? Was ist die Eingabe und was ist die Ausgabe?
Justin Johnson: Das Kern- und Grundlegendste von Atlas ist die „Vorhersage neuer Perspektiven“. Wir glauben, dass dies eine sehr aufregende grundlegende Aufgabe ist, eine neue Methode, die bisher niemand auf Basismodelle angewendet hat. Große Sprachmodelle basieren auf der „Vorhersage des nächsten Tokens“, Videomodelle lassen sich als auf der „Vorhersage des nächsten Frames“ basierend verstehen, und Atlas führt die „Vorhersage neuer Perspektiven“ durch. Konkret gibst du ihm mehrere Perspektiven einer Szene oder eine Szenenbeschreibung, diese Eingaben gelangen in das, was wir als „räumlichen Kontext“ bezeichnen, und beschreiben implizit, welche Welt wir genau diskutieren. Dann kannst du eine virtuelle Kamera an jeder beliebigen Position im Raum und zu jedem beliebigen Zeitpunkt platzieren und Atlas beurteilen lassen: Wie sieht diese Welt aus dieser Zeit und dieser Position aus?
Martin Casado: Ben, es gibt jetzt eine Menge Videomodelle, die sich alle als Weltmodelle bezeichnen und behaupten, neue Perspektiven erzeugen zu können. Kannst du genauer aufschlüsseln, worin sich Atlas von diesen früheren Modellen unterscheidet?
Ben Mildenhall: Der von Justin erwähnte „räumliche Kontext“ ist ein sehr wichtiger Unterschied. Viele Videomodelle erlangten ursprünglich Aufmerksamkeit, weil sie Videos aus einem Bild erzeugen oder Zwischenbilder zwischen einem gegebenen ersten und letzten Frame ergänzen konnten. Jetzt sehen wir auch einige Modelle, die 20, 30 oder sogar 50 Bilder zusammen berücksichtigen können. Aber der Schlüssel zu Atlas liegt darin, dass jeder von dir eingegebene Frame eine klare räumliche Bedeutung hat. Es nimmt kein Bild und interpretiert es beliebig, und du musst auch keine Textprompts wiederholt anpassen, um mit dem Modell zu verhandeln, damit es eine bestimmte Anforderung erfüllt. In Atlas entspricht jedem Bild eine 3D-Kamerapose, also Position und Ausrichtung der Kamera. Dadurch kann es Rekonstruktionen mit sehr hoher Genauigkeit durchführen. Wenn wir zum Beispiel in jeder Ecke dieses Raums ein Foto machen und diese vier Perspektiven in das Modell eingeben, kann es genau das wiedergeben, was du im Raum siehst. Es rät nicht willkürlich, was sich in der anderen Ecke befindet oder welche Beziehungen zwischen verschiedenen Objekten bestehen, sondern stellt es entsprechend den von dir bereitgestellten Informationen wieder her.
Dies kann auch für Kreativität und Vorstellungskraft verwendet werden. Wenn du zum Beispiel zwei Fotos aus verschiedenen KI-generierten Ergebnissen oder von verschiedenen realen Orten nimmst, kannst du sie tatsächlich an festgelegten Positionen anordnen und die Szene gestalten, um Kameraführungen mit klarer kreativer Absicht zu entwerfen. Du kannst genau steuern, wo der gewünschte Inhalt platziert wird, wohin die Kamera blickt und entlang welcher Route sie sich bewegt. Ich denke, das ist ganz anders als bei Videomodellen. Letztere bieten normalerweise nur allgemeine Textsteuerung, du musst die Generierung immer wieder neu durchführen, ähnlich wie beim wiederholten Ziehen an einem Spielautomaten, bis du ein zufriedenstellendes Ergebnis erhältst.
Martin Casado: Also hat es die traditionellen Videomodelle nicht einfach logisch erweitert, sondern eine neue Architektur verwendet?
Justin Johnson: Ich denke, es ist in mehrfacher Hinsicht etwas völlig Neues. Ein Unterschied, den wir häufig erwähnen, besteht darin, dass es Generierung und Rekonstruktion in ein und demselben Modell gemeinsam ausführt. Wie Ben gerade sagte, gibst du ihm mehrere Perspektiven dieses Raums, und es rekonstruiert die Dinge im Raum so, wie du sie tatsächlich siehst. Bisher war die Rekonstruktion ein unabhängiger Forschungszweig in der Computer Vision mit eigenen speziellen Aufgaben und spezialisierten Modellen. Die Generierung ist das, worin verschiedene Text-zu-Video-Modelle gut sind, zum Beispiel die großen Diffusionsmodelle, die in den letzten Jahren entstanden sind. Sie eignen sich hervorragend für Kreativität: Ich stelle mir etwas vor, das noch nie existiert hat, und lasse das Modell es erzeugen. Jetzt hat Atlas zum ersten Mal diese beiden verschiedenen Teile der visuellen Intelligenz in ein einziges Modell integriert, sodass 3D-Rekonstruktion und Generierung in derselben Architektur gemeinsam ablaufen können.
Justin Johnson: Dafür haben wir einige Anpassungen vorgenommen. Zuerst muss das Modell von Anfang an multimodal sein. Es unterstützt nativ Text, Bilder und Videos und verwendet die Kamerapose als native Eingabe. Soweit ich weiß, hat das bisher niemand in der Vortrainierungsphase getan. Gleichzeitig verarbeitet es 3D-Informationen als native Modalität. Von Anfang an ist es also ein nativ multimodales Modell, und soweit ich weiß, hat dieser Ansatz noch niemand sonst angewendet.
Martin Casado: Entschuldigung, ich kenne mich in diesem Bereich nicht besonders gut. Bezieht sich die „3D-Information“ hier auf Tiefe, 3D-Modelle oder etwas anderes?
Justin Johnson: Die von uns derzeit verwendete Darstellungsform ist eine Tiefenkarte. Das heißt, für ein Bild kann es eine virtuelle Kamera geben, die ihre Position im 3D-Raum angibt. Die Position der Kamera und die Kameraparameter sind native Eingaben des Modells. Zu dieser Kameraposition kann ein RGB-Farbbild gehören, das dem Modell zeigt, wie es von dieser Position aussieht; oder eine Tiefenkarte, die dem Modell die 3D-Raumstruktur zu dieser Perspektive angibt. Daher werden Modalitäten wie Text, Bilder, Videos, 3D-Informationen und Kamerainformationen alle in ein und demselben Modell gemeinsam verarbeitet.
Fei-Fei Li: Ich möchte hinzufügen, dass das, was Justin und Ben gerade gesagt haben, eigentlich sehr wichtig ist, aber seine Bedeutung noch nicht vollständig erkannt wurde. Dies ist das erste Mal im Bereich der Computer Vision, dass Pixelgenerierung und Pixelrekonstruktion vereinheitlicht werden. Dieser Bereich existiert seit mehr als einem halben Jahrhundert, und ich arbeite selbst seit Jahrzehnten darin. Es gibt unzählige Doktorarbeiten, die sich mit Rekonstruktion oder Synthese neuer Perspektiven befassen. Traditionell ist unser Bereich in verschiedene Forschungsrichtungen unterteilt. Wenn du an Konferenzen für Computer Vision teilnimmst, siehst du Sitzungen für Pixelgenerierung, Sitzungen für Erkennung und Sitzungen für 3D-Rekonstruktion. Dieses Modell vereinheitlicht Rekonstruktion und Generierung auf einfache Weise auf der Grundlage von Perspektiven und Perspektivschätzungen. Das ist eine sehr leistungsfähige Fähigkeit.
Martin Casado: Können wir einen Schritt zurückgehen und diese Frage klarer erläutern? Ich erinnere mich, dass ihr bei der Gründung des Unternehmens gesagt habt, dass ihr „räumliche Intelligenz“ lösen wollt. Mit diesem neuen Modell scheint es für einen Laien wie mich sehr universell zu sein. Große Sprachmodelle sagen das nächste Token voraus, und ihr sagt neue Perspektiven voraus: Gib eine oder mehrere Perspektiven an und erhalte eine weitere Perspektive. Kannst du erklären, warum dies ein wichtiger Schritt in Richtung räumlicher Intelligenz ist? Vielleicht kannst du zuerst damit beginnen, was räumliche Intelligenz ist.
Fei-Fei Li: Räumliche Intelligenz muss uns letztendlich in die Lage versetzen, Räume zu erzeugen, in Räumen zu schlussfolgern, Räume zu bearbeiten und mit ihnen zu interagieren. Wir können diskutieren, ob sie 3D oder 4D ist, aber letztendlich ist sie definitiv 4D mit der Zeitdimension. Selbst wenn wir nur 3D berücksichtigen, sind dies alles grundlegende Aufgaben, die räumliche Intelligenz unterstützen muss. Mit diesen Fähigkeiten können wir weiter zu Rendering, Simulation und Aktionsplanung übergehen. Um dies zu erreichen, muss zuerst ein grundlegendes Problem gelöst werden: Das Verständnis der geometrischen Form, der Struktur und der physikalischen Gesetze des Raums.
Ich bin der festen Überzeugung, dass Atlas einen wichtigen Schritt nach vorne gemacht hat. Denn jetzt kannst du für jedes Bild eine wichtige Information, nämlich die Perspektive und die entsprechende Kamerapose, erzeugen und schätzen. Das ist die entscheidendste Information beim Verständnis der Raumgeometrie, und sie führt zu verschiedenen emergenten Fähigkeiten, die wir in den nachgelagerten Anwendungen des Modells sehen, die alle in unserem Blog vorgestellt wurden. Auf dem Weg zur räumlichen Intelligenz ist das Erzeugen von Pixeln natürlich ein früher Schritt. Die vielen Modelle, die du gerade erwähnt hast, haben diese Fähigkeit bereits demonstriert. Aber dass die erzeugten Pixel tatsächlich auf einem räumlichen Kontext basieren und wirklich im Raum verankert sind, ist ein weiterer großer Fortschritt. Atlas hat genau diese schwierige Hürde überwunden.
Natürlich können wir noch weiter voranschreiten. Die vierte Dimension, also die Zeit, bringt dynamische Veränderungen mit sich; wir können auch die Wiedergabetreue der Simulation weiter verbessern und den Raum detaillierter darstellen. All dies ist Teil der Roadmap für räumliche Intelligenz.
Von Marble zu Atlas: Welche Hürden hat die 3D-Rekonstruktion überwunden?
Martin Casado: Sehr gut. Ich möchte wirklich tiefgehend darüber sprechen, wohin es als Nächstes geht, aber lass uns zuerst darüber sprechen, wie ihr hierher gekommen seid. Wie lange existiert World Labs schon?
Fei-Fei Li: Zweieinhalb Jahre.
Martin Casado: Zweieinhalb Jahre. Ihr habt zuvor auch schon Modelle veröffentlicht. Warum habt ihr nicht direkt Atlas auf einmal erreicht?
Fei-Fei Li: Gute Frage. Es klingt so, als könnte es plötzlich entstehen, oder? Justins Team braucht viele Chips.
Justin Johnson: Ja, es braucht wirklich eine Menge GPUs, um dieses Modell wirklich groß zu machen. Letztes Jahr haben wir das Marble-Weltmodell veröffentlicht, unser erstes wichtiges Weltmodell und das Modell, das hinter dem aktuellen Marble-Produkt steht. Marble ist cool: Es kann Bilder, Videos und Textprompts entgegennehmen und daraus 3D-Welten erzeugen. Aber einer der größten Unterschiede zwischen Marble und Atlas liegt genau in der Ausgabedarstellung. Marble verwendet hauptsächlich Gaussian Splatting als 3D-Ausgabedarstellung. Egal was eingegeben wird, die endgültige Ausgabe ist eine 3D-Welt, die durch Gaussian Splatting dargestellt wird.
Justin Johnson: Gaussian Splatting ist sehr praktisch und hat viele Vorteile: Es ist einfach zu rendern, kann effizient auf Mobilgeräten und VR-Geräten dargestellt werden und funktioniert mit Spiel- und Simulations-Engines zusammen. Aber ich denke, das wurde auch ein Engpass für das vorherige Marble-Modell. Deshalb haben wir das Design in Atlas neu angepasst. Wir haben erkannt, dass wir die Verarbeitungswege verschiedener Modalitäten früher trennen müssen, während diese Modalitäten im Inneren des Modells auf einheitlichere Weise zusammenarbeiten. Jetzt ist die grundlegendste Aufgabe von Atlas nicht mehr „eine Gaussian-Splatting-Welt erzeugen“, sondern die bereits erwähnte „Vorhersage neuer Perspektiven“. Es kann RGB-Bilder erzeugen und auch 3D-Informationen erzeugen; wenn du es brauchst, können wir mit diesen Ergebnissen schöne Gaussian-Splatting-Welten erzeugen. Aber wenn nicht, müssen wir nicht alle Ausgaben durch die Einschränkung von Gaussian Splatting laufen lassen. Wir haben wirklich viel Mühe darauf verwendet, die Vor- und Nachteile dieser verschiedenen Darstellungsformen herauszufinden.
Das ist ein Aspekt.