Weltmodell, konzentriert sich mit voller Wucht auf die Chinesen, die ihr ganzes Leben lang leidenschaftlich gerne hochwertige Fotos aufnehmen.
Um die neun Fotos in der Momentaufnahme-Galerie in sozialen Medien zu vervollständigen, kaufen die Chinesen, die schon immer leidenschaftlich gerne gelungene Aufnahmen machen, ständig neue Geräte, recherchieren nach optimalen Kamerapositionen und opfern manchmal sogar die gute Laune während einer Reise.
Gleichzeitig investieren Spitzenwissenschaftler und Kapitalgeber Milliarden von US-Dollar, um KI mit Hilfe von „Weltmodellen“ das Verständnis der physischen Welt beizubringen.
Diese zwei Dinge, die auf den ersten Blick überhaupt nichts miteinander zu tun haben, werden sich vielleicht bald im selben Bildausschnitt treffen.
#01
Weltmodelle, beginnen sich der Erstellung gelungener Aufnahmen zu widmen
Kann man nach der Aufnahme eines Fotos die Kameraposition noch ändern? Das von Li Feifei gegründete Unternehmen WorldLabs demonstriert diese Möglichkeit in seinem Weltmodell Atlas.
Gibt man ein oder mehrere Referenzbilder ein und legt dann Position und Winkel der Kamera fest, kann das Modell neue Bilder generieren. Nutzer können die virtuelle Kamera anheben, zur Seite verschieben und Perspektiven ausprobieren, die sie bei der eigentlichen Aufnahme nicht erhalten haben. Bereiche, die im ursprünglichen Material nicht erfasst wurden, werden vom Modell abgeleitet und ergänzt.
WorldLabs stellt Atlas bereits über eine Webanwendung und eine Entwicklerschnittstelle zur Verfügung und listet Film- und visuelle Effekte als eines der Anwendungsgebiete auf. Ein Foto ist nicht mehr nur das Ende einer Aufnahme, sondern kann auch der Ausgangspunkt für unzählige Möglichkeiten sein.
Der Hersteller von Verbraucherbildgebungsgeräten Insta360 hat auch die langfristige Vision von Cameraman vorgelegt, damit Geräte wie Fotografen automatisch Kompositionen gestalten und Momente einfangen können.
In diesem Konzept ist die KI dafür zuständig, Szenen und Nutzerabsichten zu verstehen und Aufnahmestrategien zu generieren. Das Objektiv erfasst Umgebungsinformationen, und Roboter, Drohnen und Gimbal übernehmen die Bewegung und die Objektivsteuerung. Der Nutzer gibt die Anforderungen vor, und das Gerät übernimmt mehr Aufgaben bei der Suche nach Winkeln und der Durchführung der Aufnahmen.
Weltmodelle sind eine der technologischen Richtungen, auf die Insta360 für dieses Vorhaben setzt. DiT360, PanoWorld und PanoLOG befassen sich jeweils mit der Generierung von Panoramabildern, der Vorhersage von Bildänderungen bei Kamerabewegungen und der dreidimensionalen Darstellung großer Szenen, um Geräten das Verständnis der Welt zu erleichtern und den Weg für Bahnplanung und aktive kreative Gestaltung zu ebnen.
Das eine passt die Bildperspektive im virtuellen Raum an, das andere möchte echte Geräte selbstständig aufnehmen lassen. Die beiden Unternehmen erforschen aus verschiedenen Richtungen die Verwendung von Weltmodellen für die Erstellung gelungener Aufnahmen.
Der Bedarf am Fotografieren ist alltäglich, aber die Beurteilung vor dem Drücken des Auslösers ist nicht einfach. Sie betrifft räumliche Geometrie, Licht- und Schattenänderungen, die Bewegung von Personen und die Auswahl von Kamerapositionen. Das scheinbar alltägliche Problem der „gelungenen Aufnahme“ prüft im Kern die Fähigkeit von Maschinen, die räumliche Struktur der realen Welt zu verstehen und vorherzusagen.
#02
Weltmodelle, jede hat ihre eigene Welt
Im Unterschied zu großen Sprachmodellen, die das „nächste Wort“ durch Wahrscheinlichkeitsvorhersage erzeugen, versuchen Weltmodelle, eine interne Darstellung der Umgebung aufzubauen und vorherzusagen, wie sie sich mit der Zeit oder durch Handlungen ändert.
Antoine Moyroud, Partner bei Lightspeed Venture Partners, sagte einmal: „Alle sind sich einig, dass Weltmodelle wichtig sind, aber kaum jemand kann sich darauf einigen, was sie genau sind.“
Unter dem Namen Weltmodell haben sich bereits mehrere recht unterschiedliche Welten herausgebildet.
Googles Genie-Serie neigt dazu, interaktive virtuelle Umgebungen zu generieren: Wenn Nutzer ihre Handlungen oder Beobachtungsrichtungen ändern, generiert das Modell fortlaufend entsprechende Bilder. WorldLabs von Li Feifei legt mehr Wert auf die Generierung und Rekonstruktion dreidimensionaler Räume.
Das von Yann LeCun gegründete Unternehmen AMI vertritt dagegen den Ansatz, Änderungen in abstrakten Repräsentationen vorherzusagen und nur die für Handlungen nützlichen Informationen zu erfassen, ohne jedes Pixel der Zukunft generieren zu müssen. Aus dieser Perspektive ist es zwei verschiedene Dinge, die Welt realistisch darzustellen und zu verstehen, wie sie funktioniert.
Modelle und Tools wie Cosmos von Nvidia richten sich an Roboter und autonomes Fahren, bieten Fähigkeiten zur Weltgenerierung, Vorhersage und synthetischen Datenerstellung und dienen direkt dem industriellen Training und Test.
Obwohl es noch keine einheitliche Lösung gibt, hat das Kapital bereits echtes Geld in verschiedene Richtungen investiert. In diesem Jahr erhielt AMI eine Seed-Finanzierung von 1,03 Milliarden US-Dollar; im November kündigte AMD den Abschluss der Übernahme von WorldLabs für rund 8,2 Milliarden US-Dollar an.
Die Ziele, die mit diesen milliardenschweren Investitionen verbunden sind, sind in der Regel sehr ehrgeizig: Roboter in Fabriken beim Montieren zu lehren, Autos den Umgang mit komplexem Verkehr beizubringen oder virtuelle Welten aufzubauen, die ständig erkundet werden können.
Gleichzeitig befindet sich die Technologie selbst noch in einer Phase, in der die Richtungen noch nicht konvergieren und die Kommerzialisierung in der frühen Phase der harten Arbeit steckt. Probleme wie räumliche Konsistenz, physikalische Kausalvorhersage und der Übergang von der Simulation zur Realität müssen noch nacheinander überwunden werden.
Im Vergleich zu diesen risikoreichen, langfristigen anspruchsvollen Szenarien wirkt die Aufgabe, normalen Menschen dabei zu helfen, ein gutes Foto zu machen, vor dem Hintergrund großer Narrative besonders alltäglich. Aber gerade weil die Fehlertoleranz bei der Erstellung von gelungenen Aufnahmen für den Massenverbrauch hoch ist, der Feedbackzyklus kurz ist und die Zahlungsbereitschaft klar ist, könnte sie zu dem pragmatischen Einstiegspunkt werden, an dem Weltmodelle zuerst die kommerzielle Validierung bestehen.
#03
Wie verändern Weltmodelle die Fotografie?
Von Reise- und Begleitfotodiensten bis hin zu kompakten Kompaktkameras, Panoramakameras und Taschen-Gimbals zahlen Verbraucher ständig mit ihrem Geld dafür, die Hürden für die Aufnahme zu senken und die Erfolgsrate bei gelungenen Aufnahmen zu erhöhen.
Der Spielraum, den Weltmodelle erweitern wollen, ist genau der Anpassungsspielraum, den vorhandene Bildgebungswerkzeuge hinterlassen haben.
Beim üblichen „Zuerst aufnehmen, dann den Bildausschnitt wählen“ kann man die Komposition durch Zuschneiden anpassen oder Bilder mit unterschiedlichen Ausrichtungen aus Panoramafotos auswählen, aber die Aufnahmeposition bleibt fest. Um die Verdeckung durch Vordergrundobjekte zu umgehen oder die relative Position von Personen und fernen Bergen zu ändern, muss normalerweise das Gerät vor Ort bewegt werden.
Weltmodelle können auf Basis vorhandener Bilder Bilder von einer anderen Kameraposition generieren, sodass die Kompositionsanpassung nicht mehr auf die ursprüngliche Aufnahmeposition beschränkt ist. Für selbstständige Fotogeräte können solche Vorhersagen auch verschiedene Perspektiven im Voraus vergleichen, bevor die Bewegung geplant und die Aufnahme abgeschlossen wird.
Bis zu dem Punkt, an dem sie normalen Menschen mühelos zu gelungenen Aufnahmen verhelfen, gibt es jedoch noch einige Hürden.
Zuerst Kosten und Effizienz. Die für die Generierung neuer Perspektiven erforderlichen Rechenressourcen, Wartezeiten und Nutzungskosten beeinflussen, ob sie von einem neuartigen Erlebnis zu einem alltäglichen Werkzeug werden können. Für die Hardware selbstständiger Fotogeräte müssen außerdem Akkulaufzeit, Hindernisvermeidung sowie der Aufwand für Transport und Einrichtung berücksichtigt werden.
Wenn das Wechseln der Kameraposition lange dauert und zusätzlich eine Gebühr für die Generierung anfällt, könnten Verbraucher feststellen, dass die Aufforderung an eine Person in ihrer Nähe, „zwei Schritte nach links zu gehen“, immer noch eine sehr kostengünstige Technik ist.
Noch wichtiger ist, dass Fotografieren nie nur eine dreidimensionale geometrische Berechnung ist. Beliebte Beispiele können KI gängige Kompositionen lehren, aber sie sagen ihr nicht unbedingt, welchen Winkel die Person vor der Kamera bevorzugt und welchen Ausdruck ihr wichtig ist. Das Urteilsvermögen, das Fotografen durch Kommunikation und Probeaufnahmen erwerben, ist vermutlich viel schwieriger direkt zu „destillieren“ als eine beliebte „Checklisten-Formel für beliebte Fotopunkte“.
Die technologische Entwicklung hat oft unerwartete Auswirkungen.
Als das Jet Propulsion Laboratory der NASA den CMOS-Bildsensor erfand, zielte es auf die Planetenforschung in den weiten Tiefen des Weltraums ab; Jahrzehnte später ist sein größter Einsatzort nicht im Weltraum, sondern im Objektiv des Handys, das normale Menschen jeden Tag heben.
Während Weltmodelle noch langsam für allgemeine Roboter und autonomes Fahren vorbereitet werden, könnte die scheinbar kleine Aufgabe, Menschen dabei zu helfen, gelungene Aufnahmen zu machen, zuerst das Fenster werden, durch das sie in die reale Welt eintreten.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Zheng Gu Labor“ (ID: zhengulab), Autor: Lu Jianguo, Redakteur: Zhang Duo, veröffentlicht mit Genehmigung von 36Kr.