Eilmeldung: Die neuesten KI-Forschungsergebnisse von Li Feifei wurden veröffentlicht: Das Weltmodell wurde in eine retro Handheld-Spielkonsole integriert, sodass 15 Bilder pro Sekunde in Echtzeit aus nur einem einzelnen Bild generiert werden.
Klicken Sie auf die Generierungsschaltfläche und warten Sie dann mehrere Minuten lang auf den sich drehenden Fortschrittsbalken. Freunde, die schon früher mit 3D-Weltmodellen oder Videogenerierung gearbeitet haben, sind wahrscheinlich von dieser langwierigen Rendering-Prozedur so gequält worden, dass sie keine Lust mehr haben.
Gerade heute hat World Labs, das von Li Feifei gegründet wurde, eine Forschungsvorschau-Demo namens Frameboy veröffentlicht, die sein eigenes autoregressives Weltmodell Atlas direkt in die Ära der Echtzeit-Interaktion führt.
Offizieller Blog🔗 https://www.worldlabs.ai/blog/atlas-realtime
Sie müssen nur Ihren Browser öffnen, und die GPU in der Cloud überträgt das Bild mit einer Bildrate von bis zu 15 fps in Echtzeit, sodass Sie die Kamera frei steuern können wie bei einem Spiel und in der 3D-Welt, die aus einem einzigen Bild erzeugt wurde, beliebig herumlaufen.
Selbst wenn Sie versehentlich in die falsche Richtung gehen oder eine schlechte Idee ausprobieren, sind die Kosten für Fehlversuche nahezu Null: Mit einem Mauszug können Sie den Winkel ändern und weiter erkunden.
Noch interessanter ist, dass dieses Update ein weiteres technisches Ergebnis des Spitzenteams für räumliche Intelligenz um Li Feifei ist, nachdem AMD Ende September dieses Jahres angekündigt hat, World Labs für 8,2 Milliarden US-Dollar (ca. 55 Milliarden Yuan) in einer vollständig mit Aktien finanzierten Transaktion zu übernehmen.
Das Weltmodell in eine Retro-Handheld-Konsole packen: Echtzeit-Erzeugung von 15 Bildern pro Sekunde aus einem einzigen Bild
Um dieses Update richtig zu verstehen, muss man kurz auf Atlas eingehen, der vor zwei Monaten erstmals vorgestellt wurde.
Als autoregressives Weltmodell war das größte Verkaufsargument von Atlas damals, dass es Bilder Bild für Bild erzeugen und eine kamerawinkelgenaue Steuerung auf Pixelebene unterstützen kann. Egal ob man aus einem einzigen Bild eine virtuelle 3D-Welt erzeugt, echte Sehenswürdigkeiten anhand mehrerer Fotos aus verschiedenen Blickwinkeln rekonstruiert, den Fortschritt auf einer Baustelle verfolgt oder Drehorten für Filme prüft – alles ist problemlos möglich.
Aber das Problem ist auch realistisch: Es ist einfach zu langsam.
Wenn man nach jeder Anpassung der Kameraposition Dutzende Sekunden oder sogar mehrere Minuten warten muss, bis das Renderergebnis angezeigt wird, werden Kreative beim Aufbau von Szenen und der Planung von Kamerafahrten stark eingeschränkt. Jedes Drücken der Generierungstaste fühlt sich an wie das Öffnen einer Überraschungsbox.
Um die lange Wartezeit bei der Generierung von Weltmodellen zu verkürzen, hat das Team Atlas tiefgreifende Inferenzoptimierungen unterzogen und die Echtzeit-Interaktions-Demo Frameboy auf Basis dieser optimierten Modellversion veröffentlicht. Das Design im Stil einer Retro-Handheld-Konsole erinnert leicht an den klassischen Game Boy.
Jetzt, da die Bildgenerierungsgeschwindigkeit auf bis zu 15 Bilder pro Sekunde gesteigert wurde, spüren die Nutzer den unterbrochenen Ablauf nach dem Klicken auf die Generierungstaste kaum mehr.
Sie müssen nur die Kamera im Browser schwenken, neigen und bewegen, und die Cloud überträgt ständig Bilder aus neuen Blickwinkeln in Echtzeit auf den Bildschirm.
Nehmen Sie die offizielle Vergleichsdemonstration für ein Wohnzimmer als Beispiel: Früher mussten Nutzer bei der manuellen Iteration mit dem langsamen Modell vorsichtig vier Kamerapositionen für Schlüsselbilder im Raum markieren, auf Generierung klicken und warten, bis das Video fertig ist. Wenn der Winkel nicht stimmte, zogen sie die Punkte neu und versuchten es erneut, was mehrere Runden lang hin und her ging.
Im Echtzeitmodus von Frameboy können Sie die virtuelle Kamera direkt im Raum drehen, und alle Bilder im Sichtbereich werden synchron in Echtzeit aktualisiert.
Wenn Sie das Forschungsvorschau-Projekt RTFM von World Labs aus dem letzten Jahr kennen, wird Ihnen die Form der Retro-Handheld-Konsole vielleicht bekannt vorkommen.
Aber im Vergleich zu dem damals leichtgewichtigen Bildgenerierungsmodell ist das heutige Atlas nicht nur viel größer im Umfang und hat um mehrere Größenordnungen mehr verarbeitete Datenmengen, sondern seine Fähigkeitsgrenzen sind auch völlig anders.
Das RTFM aus dem letzten Jahr konnte hauptsächlich Interpolationsübergänge zwischen mehreren vorhandenen Blickwinkeln durchführen. Das heutige Atlas kann hingegen selbst wenn es nur ein statisches Bild oder eine Textbeschreibung erhält, die gesamte umliegende Szene von Grund auf erzeugen und in den räumlichen Kontext von Frameboy einbinden, damit Sie damit interagieren und erkunden können.
Gleichzeitig hat es die Fähigkeit zur Synthese neuer Ansichten aus mehreren Blickwinkeln vollständig beibehalten und verbessert: Wenn Sie mehrere Fotos von berühmten Sehenswürdigkeiten der realen Welt aus verschiedenen Winkeln eingeben, können Sie direkt eine virtuelle reale Rundreise im Browser starten.
Bild hochladen und selbst einen 3D-Spielplatz bauen
Nur in den wenigen voreingestellten Szenen des Anbieters herumzulaufen, reicht offensichtlich nicht aus, um Spaß zu haben.
Damit Sie Ihre eigene 3D-Welt selbst bauen können, hat World Labs die Echtzeit-Streaming-Funktion auch in seine webbasierte Anwendung Viewfinder integriert und einen Echtzeit-Rendering-Überlagerungsmodus erstellt, der sich derzeit in der geschlossenen Betaphase befindet und für den die Anmeldung zur Warteliste bereits geöffnet ist.
In Viewfinder können Sie Ihr eigenes hochgeladenes Bild als Ausgangspunkt nehmen, die virtuelle Kamera Schritt für Schritt nach außen bewegen und den gesamten 3D-Raum Bild für Bild aufbauen.
Jedes Mal, wenn Atlas ein neues Bild erzeugt, gibt es gleichzeitig Farb- und Tiefeninformationen aus, die Ihnen helfen, die gesamte dreidimensionale Raumstruktur visuell auszurichten.
Wenn der Hauptteil der Szene weitgehend fertig ist, rufen Sie einfach mit einem Klick die Frameboy-Überlagerung auf. Das statische Projekt, das gerade noch Bild für Bild aufgebaut wurde, verwandelt sich sofort in einen Echtzeit-gestreamten 3D-Spielplatz.
Das Team hat eine sehr klare Vorstellung von seiner zukünftigen Positionierung: Es möchte, dass Weltmodelle wie Atlas zu den generativen Renderern der nächsten Generation werden.
Allerdings verschweigt der Anbieter am Ende seines Blogs auch nicht die derzeitigen Hürden bei der Rechenleistung.
Derzeit muss Frameboy auf leistungsstarken GPU-Servern in der Cloud ausgeführt werden. Im Vergleich zum herkömmlichen lokalen Rendering sind die Kosten keineswegs niedrig.
Wenn man aber auf die Geschichte der Computergrafik zurückblickt: Jede bahnbrechende Technologie ist bei ihrer Entstehung oft langsam und teuer. Mit der gemeinsamen Weiterentwicklung von zugrundeliegender Hardware und Softwarealgorithmen wird das teure Spielzeug im Cloud-Labor von heute früher oder später zu einem erschwinglichen, weitverbreiteten Werkzeug werden.
55 Milliarden Yuan Partnerschaft mit Lisa Su: Schnellere Annäherung an die zugrundeliegende Hardware
Gerade bei der Sache, durch die Zusammenarbeit von Software und Hardware Kosten zu senken und die Geschwindigkeit zu erhöhen, hat World Labs heute offensichtlich den passendsten Partner gefunden.
Vor etwas mehr als einem Monat, am 28. September, hat der Chiphersteller AMD gerade eine bedeutende Übernahmevereinbarung bekanntgegeben, mit der das erst zwei Jahre alte Unternehmen World Labs in einer vollständig mit Aktien finanzierten Transaktion für 8,2 Milliarden US-Dollar erworben werden soll.
Die Transaktion, die voraussichtlich Ende dieses Jahres abgeschlossen wird, stellt nach der Übernahme von Xilinx die zweitgrößte Übernahme in der Geschichte von AMD dar.
Das in San Francisco ansässige Star-Unicorn-Unternehmen, das von Li Feifei gemeinsam mit Justin Johnson, Ben Mildenhall und Christoph Lassner gegründet wurde, hatte bei der vorherigen Finanzierungsrunde noch eine Bewertung von 5 Milliarden US-Dollar.
Gemäß den Übernahmebestimmungen wird Li Feifei nach Abschluss der Transaktion offiziell als Executive Vice President und Chief Scientist von AMD fungieren und direkt an Lisa Su berichten. Das ursprüngliche Entwicklerteam wird vollständig erhalten bleiben und weiterhin von Justin Johnson und Ben Mildenhall geleitet, die sich voll und ganz räumlichen Modellen und Physical AI widmen.
Damals diskutierte die Öffentlichkeit noch: Warum sollte ein Hardware-Großunternehmen, das Chips verkauft, 55 Milliarden Yuan ausgeben, um ein Algorithmenteam zu erwerben, das an 3D-Weltmodellen forscht?
Jetzt, wenn man die extremen Anforderungen von Frameboy an die Inferenzgeschwindigkeit berücksichtigt, sind die Überlegungen beider Seiten völlig klar.
Für Lisa Su ist das nächste umkämpfte Gebiet nach großen Sprachmodellen das Physical AI, das Robotersimulation, räumliches Verständnis und 3D-Rekonstruktion umfasst.
Mit der Übernahme von World Labs kann AMD sofort die tatsächlichen Rechenlastmerkmale der Weltmodelle der nächsten Generation verstehen und umgekehrt die Roadmap für seine eigenen GPU-Architekturen, KI-Chips und das ROCm-Software-Stack leiten, um im Bereich Robotik und räumliche Berechnungen direkt mit Nvidia zu konkurrieren.
Für das Team um Li Feifei gilt wie sie in der Übernahmeankündigung sagte: Die nächste Generation von KI erfordert eine enge Zusammenarbeit von Modelforschung, Systemen und Rechenleistung.
Früher musste man sich Sorgen um die teuren GPU-Rechnungen machen, wenn man ein Echtzeit-Weltmodell in der Cloud ausführte. Jetzt arbeitet man direkt mit dem eigenen Chipteam zusammen, um Hardware und zugrundeliegende Operatoren gemeinsam zu optimieren. Das Ziel, das echtzeitgenerative 3D-Rendering tatsächlich in Endgeräten für Millionen von Haushalten zu bringen, ist damit offensichtlich einen großen Schritt näher gerückt.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto "APPSO", Autor: APPSO, das Produkte von morgen entdeckt, veröffentlicht mit Genehmigung von 36Kr.