Transformer beginnt, die dreidimensionale Welt zu erschaffen: Open-Source-Modelle generieren aus nur wenigen Bildern innerhalb von Sekunden erkundbare 3D-Szenen

Von 2D-Pixeln zu 3D-Szenen-Queries versucht InSpatio, die Produktion dreidimensionaler Inhalte in eine neue Phase der skalierbaren Nutzung zu führen.

Machen Sie ein paar Schnappschüsse von den kleinen Dekorationsobjekten auf dem Tisch, und wenige Sekunden später passiert etwas Interessantes.

Sie heben sich buchstäblich aus den zweidimensionalen Fotos heraus und verwandeln sich in ein handhabbares 3D-Inhaltselement.

Kein Scannen, kaum Wartezeit – mit wenigen Klicks ist das Ergebnis erzeugt.

Ich habe mit meinem Handy 6 Fotos von dem Café im Erdgeschoss aus verschiedenen Winkeln aufgenommen. Dieser Raum wurde sofort auf meinem Handy gespeichert.

Sogar das Schlafzimmer zu Hause verwandelt sich nach wenigen Auslösungen in einen frei erkundbaren 3D-Raum.

Gemeinsame Essen, Schreibtischgestaltung, Abschlussfeier, Umzug, Hochzeit, Alltag ... Mit dem Handy lassen sich wichtige Momente sofort festhalten, und es macht großen Spaß, die betretbaren Szenen an Freunde in der Umgebung weiterzugeben.

Diese App heißt Crystal Raumkamera, ein kostenloses 3D-Erfassungstool von InSpatio, das aus den neuesten Forschungsergebnissen entwickelt wurde und es jedem ermöglicht, ganz einfach selbst 3D-Raumfotos aufzunehmen.

Die dahinterstehende Technologie ist das von InSpatio offiziell quelloffen gemachte vorwärtsgerichtete 3D-Gaussian-Splatting-Generierungstechnologie QuerySplat. Mit nur wenigen Bildern aus verschiedenen Perspektiven ohne Angabe von Kameraposen lassen sich in einer einzigen Vorwärtsinferenz innerhalb von Sekunden 3D-Szenen generieren, deren Perspektive frei gewechselt werden kann.

Bei den 2-, 4- und 12-Ansichts-Einstellungen des großen DL3DV-Evaluationsbenchmarks erzielt Topos-Lite die besten Ergebnisse bei PSNR- und SSIM-Metriken; bei der LPIPS-Metrik, die mehr auf die wahrgenommene Ähnlichkeit abzielt, belegt es den ersten Platz bei den 2-Ansichts- und 4-Ansichts-Einstellungen.

Die intuitivere Veränderung besteht darin, dass die Kanten der vom Modell generierten Objekte schärfer, die Texturen klarer und die Strukturen zwischen verschiedenen Ansichten stabiler sind.

Nach der Eingabe von 5 Bildern sind im Vergleich zu anderen Methoden die Hauptkonturen im von Topos-Lite generierten Ergebnis (Unser Ansatz) vollständiger, die Texturen klarer und die Szenenstruktur sauberer und stabiler.

Dieses Mal hat sich InSpatio dafür entschieden, QuerySpat quelloffen zu machen. Es geht nicht nur um die Veröffentlichung eines technologischen Ergebnisses, sondern vielmehr darum, die vorwärtsgerichtete 3D-Generierung von der Spitzenforschung weniger Teams zu einer technologischen Grundlage zu machen, die die gesamte Branche gemeinsam überprüfen und kontinuierlich weiterentwickeln kann, um die skalierbare Produktion von 3D-Inhalten zu beschleunigen und mehr unterhaltsame 3D-Anwendungen zu schaffen.

• Projekt-Homepage: https://inspatio.github.io/querysplat/
• GitHub und Modellgewichte: https://github.com/inspatio/querysplat
• Technischer Bericht: https://arxiv.org/abs/2608.01186

Von Pixeln zu Szenen: Lassen Sie Transformer nicht nur mit zweidimensionalen Bildern arbeiten

Das Bemerkenswerteste an Topos-Lite ist nicht nur, dass 3D-Szenen klarer erstellt werden, sondern vielmehr die Art und Weise, wie das Modell den dreidimensionalen Raum organisiert, verändert wird.

Topos-Lite Architekturdiagramm

In der Vergangenheit haben viele vorwärtsgerichtete 3DGS-Methoden das Paradigma der Pixel-Ausrichtung (Pixel-Aligned) übernommen. Man kann es so verstehen: Das Modell geht von jedem Pixel jedes Bildes aus, prognostiziert, was diesem Pixel im dreidimensionalen Raum entspricht, und kombiniert dann eine große Anzahl von Prognosen zu einer Szene.

Aber es hat ein angeborenes Problem: Die Gauß-Punkte sind weiterhin fest an die Pixel der zweidimensionalen Bilder und die Kamerastrahlen gebunden. Kleinste Abweichungen bei Pixeln aus verschiedenen Ansichten können im dreidimensionalen Raum zu Konflikten führen, was sich letztendlich als Geisterbilder, Schwebeeffekte, Strukturverschiebungen oder eine große Anzahl kleiner, ineffizienter Gauß-Kugeln äußert.

Das ähnelt ein wenig dem Fall, dass mehrere Personen die Konturen derselben Vase aus verschiedenen Winkeln nachzeichnen und dann mehrere transparente Zeichenpapiere übereinanderlegen. Im Idealfall sollten sich Mündung, Korpus und Sockel der Vase exakt überlagern. Aber sobald eine Zeichnung leicht abweicht, entstehen doppelte Konturen, und umher können vereinzelte Linien zurückbleiben.

Topos-Lite verfolgt einen Query-basierten Ansatz.

Es verlangt nicht mehr, dass jeder Gauß-Punkt zunächst zu einem bestimmten Pixel gehört, sondern lässt eine Gruppe lernfähiger Queries als „positionsbezogene Elemente auf Szenenebene“ fungieren. Jede Query kann Informationen aus verschiedenen Bildern und verschiedenen Bereichen aggregieren und dann eine Gruppe von Gaussian Primitives im kontinuierlichen dreidimensionalen Raum generieren.

Damit übernehmen die Query- und Attention-Mechanismen, mit denen Transformer vertraut sind, in dieser Arbeit tatsächlich die Rolle der Organisation dreidimensionaler Szenen: Queries arbeiten nicht mehr nur um zweidimensionale Tokens herum, sondern werden zu Szenenplätzen im kontinuierlichen dreidimensionalen Raum.

Wenige Bilder, keine manuelle Kalibrierung, Generierung in Sekundenschnelle

Mit nur einer unterschiedlichen Anzahl von zufällig aufgenommenen, nicht kamerakalibrierten Fotos kann das Modell ohne Angabe von Kameraposen durch eine einzige Vorwärtsinferenz schnell 3D-Gaussian-Szenen generieren, deren Perspektive frei gewechselt werden kann. Im Vergleich zu anderen Methoden sind die Hauptkonturen im generierten Ergebnis vollständiger, die Texturen klarer und die Szenenstruktur sauberer und stabiler.

Herkömmliche hochwertige 3DGS erfordern in der Regel die Erfassung einer großen Anzahl von Bildern um eine Szene herum, das Abrufen oder Berechnen von Kameraparametern und anschließend eine längere separate Optimierung für diese Szene. Es kann gute Ergebnisse liefern, aber für jede neue Szene muss der gesamte Vorgang wiederholt werden.

Das vorwärtsgerichtete Modell verändert die Kostenstruktur. Nachdem das Modell trainiert wurde, führt es bei einer neuen Szene keine Optimierung von Grund auf durch, sondern liefert direkt eine einzige Vorhersage. So wie Bildgenerierungsmodelle nicht für jedes neue Bild neu trainiert werden, wird die 3D-Szenengenerierung von der separaten Erstellung für jedes Projekt zu einer allgemeinen Fähigkeit, die wiederverwendet werden kann.

Für normale Nutzer bringt dies drei unmittelbare Veränderungen: Es müssen weniger Bilder aufgenommen werden, keine professionellen Kamerakalibrierungsinformationen manuell bereitgestellt werden, und die Wartezeit wird im Vergleich zu herkömmlichen Abläufen auf Sekunden reduziert.

Den Ergebnissen zufolge erzielt Topos-Lite die derzeit stärkste Gesamtleistung in verschiedenen Einstellungen mit spärlichen Ansichten bei der DL3DV-Evaluation.

Insbesondere bei der 4-Ansichts-Einstellung belegt das Modell den ersten Platz in allen drei Metriken PSNR, SSIM und LPIPS. Selbst bei Eingabe von nur zwei Bildern behält es eine führende Struktur- und Renderqualität bei.

Qualitativer Vergleich.

Neben der SOTA-Leistung bietet Topos-Lite auch eine klare Schnittstelle zur Kapazitätserweiterung.

Während des Trainings kann die Anzahl der Queries schrittweise von 1024 auf 8192 erweitert werden, wobei jede Query eine Gruppe von Gaussian Primitives dekodiert. Stärkere geometrische Grundgerüste, größere Decoder, mehr Queries und höher aufgelöste Erscheinungsmerkmale können jeweils separat erweitert werden.

Das kann noch nicht einfach als nachgewiesenes „3D-Scaling-Law“ bezeichnet werden, aber es zeigt zumindest eine wichtige Tatsache: Der vorwärtsgerichtete Ansatz senkt die marginalen Generierungskosten für neue Szenen, und der Query-basierte Ansatz hinterlässt eine Schnittstelle zur weiteren Erweiterung der Szenendarstellungskapazität. Geschwindigkeit und Qualität müssen nicht mehr länger gegeneinander abgewogen werden.

Erwähnenswert ist auch, dass sich die Leistung von Topos-Lite noch in einem frühen Forschungsstadium befindet und bei weitem nicht das Maximum erreicht hat. Angetrieben von der kontinuierlichen Skalierung der Datenmenge werden Qualität und Detailgenauigkeit der 3D-Generierung stetig steigen; noch erwartungsvoller ist, dass das Modell künftig in der Lage sein wird, auf Endgeräten effizient zu laufen, um die lokale schnelle Generierung von 3D-Inhalten zu realisieren und breitere Anwendungszenarien zu erschließen.

Warum muss die künstliche Intelligenz der nächsten Generation unbedingt den Raum verstehen?

Aus Sicht von InSpatio hat sich die künstliche Intelligenz in den letzten zehn Jahren hauptsächlich damit befasst, die von Menschen bereits ausgedrückte Welt zu erlernen. In der nächsten Phase muss sie die Welt selbst tiefer verstehen. Sprache ist der Zugangspunkt für die Intelligenz, die menschliche Zivilisation zu verstehen, während der Raum die Grundlage ist, auf der Intelligenz in die reale Welt eintritt.

Bilder und Videos enthalten zwar reichlich räumliche Hinweise, sind aber im Wesentlichen immer noch zweidimensionale Projektionen der dreidimensionalen Welt zu einem bestimmten Zeitpunkt und aus einer bestimmten Perspektive. Aus demselben Raum lassen sich unzählige verschiedene Bilder aufnehmen, aber die dahinterstehende unveränderliche Größe ist immer noch die dreidimensionale Struktur des Raums selbst.

Daher ist die Zweidimensionalheit eher eine Beobachtung (Observation), während die Dreidimensionalheit eher einem Zustand (State) entspricht.

Wenn ein Modell nur aus zweidimensionalen Pixeln lernt, muss es nicht nur die Szene verstehen, sondern auch ständig die Veränderungen verarbeiten, die durch Perspektive, Projektion, Verdeckung und Beleuchtung verursacht werden. Viele Frames in einem Video zeichnen möglicherweise nur dieselbe Wand oder denselben Tisch an verschiedenen Orten zu verschiedenen Zeiten auf. Das Modell muss aus diesen stark redundanten Beobachtungen die dahinterstehende relativ stabile räumliche Struktur herleiten.

Die Einführung der dritten Dimension bedeutet, „was die Welt ist“ und „wie wir die Welt sehen“ voneinander zu trennen. Das Modell kann eine kompaktere und stabilere räumliche Repräsentation erlernen und verstehen, wie dieser Zustand verschiedene Beobachtungen aus verschiedenen Perspektiven und unter verschiedenen Bedingungen generiert. Es muss nicht ständig eine große Anzahl ähnlicher Bilder speichern und hat eine bessere Chance, Umgebung, Objekte und ihre Wechselbeziehungen kontinuierlich zu verfolgen.

Das erklärt auch, warum räumliche Intelligenz kein Randbereich der KI ist. Sprachmodelle können Fragen wie „Was ist das?“ und „Was bedeutet das?“ beantworten, aber Maschinen, die in die reale Welt eintreten, müssen auch Fragen beantworten wie „Wo bin ich?“, „Welche Beziehung besteht zwischen Objekten?“, „Was wird als Nächstes passieren?“ und „Wie sollte ich handeln?“.

Von der digitalen Intelligenz zur physischen Intelligenz ist der Raum keine Option, sondern eine grundlegende Fähigkeit, die beherrscht werden muss, und zudem eine unumgängliche Hürde.

Hinter einem technologischen Durchbruch stecken fast zwei Jahrzehnte an Akkumulation

Räumliche Intelligenz ist ein Weg, der kaum durch kurzfristiges Verfolgen von Trends erfolgreich beschritten werden kann. Vom Kameramodell, der Kalibrierung, SLAM über die dreidimensionale Rekonstruktion und geometrische Optimierung bis hin zum Training neuronaler Netze, Datensystemen und Produktbereitstellung gibt es in jedem Glied viele technische Details, die von außen kaum sichtbar sind. Eine Arbeit, die in einer Abhandlung funktioniert, läuft nicht unbedingt stabil in der realen Umgebung; ein Demo, das gut aussieht, lässt sich nicht unbedingt zu kontrollierbaren Kosten kontinuierlich skalieren.

Das Kernteam von InSpatio verfügt über fast 20 Jahre Erfahrung in den Bereichen SLAM, 3D-Vision und räumliche Intelligenz und hat bereits ein Kompetenzsystem aufgebaut, das Grundlagenforschung, technische Umsetzung und industrielle Anwendung miteinander verbindet.

Seit mehr als zwanzig Jahren stellt Professor ZHANG Guofeng, Gründer von InSpatio, immer wieder eine Frage: Wie genau kann eine Maschine die reale dreidimensionale Welt