Highlights von CVPR'26: Die Tsinghua-Universität hat einen Generator für spiegelbildliche optische Täuschungskunst entwickelt, der 3D-Druck unterstützt.

【Einleitung】Das von einem Team der Tsinghua-Universität entwickelte System AutoMIA kann zwei beliebige Bilder in 3D-Kunstwerke mit Spiegel-Illusionseffekt umwandeln, wodurch eine visuelle Darstellung mit unterschiedlichen Mustern auf Vorder- und Rückseite realisiert wird und der 3D-Druck unterstützt wird.

Sehen Sie sich zunächst die beiden folgenden Gruppen von Fotos an: In jeder Gruppe befindet sich links das Vorderseitenmuster des Objekts vor dem Spiegel und rechts sein Spiegelbild. Seltsamerweise stellen Vorderseite und Spiegelbild fast zwei völlig unabhängige Dinge dar – in der ersten Gruppe ist die Vorderseite „CVPR“, während sie im Spiegel zu „2026“ wird; in der zweiten Gruppe ist die Vorderseite „Berg“, während sie im Spiegel zu „Wasser“ wird.

Ihre Konturen, Farben und sogar Bedeutungen stimmen nicht überein, was wie eine „Illusion“ wirkt.

Der Grund dahinter liegt darin, dass es sich um ein speziell entworfenes 3D-Objekt handelt, das den „Symmetrie-Vervollständigungseffekt“ des menschlichen visuellen Systems nutzt, um Illusionen zu erzeugen. Diese Art von Phänomen wird als Spiegel-Illusionskunst bezeichnet.

Die Forscher gestalten die dreidimensionale Geometrie und die Oberflächenfarbe sorgfältig, sodass ein reales Objekt bei direkter Beobachtung und bei Beobachtung im Spiegel völlig unterschiedliche visuelle Effekte zeigt.

Im Folgenden finden Sie zwei Gruppen von entsprechenden „Entschlüsselungs“-Videos.

Herkömmlicherweise erfordert die Gestaltung solcher Kunstwerke ausgefeilte Konzepte professioneller Künstler sowie umfangreiche komplexe Erfahrungen im manuellen Entwurf und mathematische Berechnungen. Die Schwelle für gewöhnliche Menschen, solche Kunstwerke zu gestalten, ist sehr hoch.

Gibt es also eine Methode, die Menschen automatisch bei solchen künstlerischen Gestaltungen unterstützt, sodass auch gewöhnliche Menschen ihre eigenen Inspirationen in Kunstwerke umwandeln können?

Kürzlich hat ein Forschungsteam von Einrichtungen wie der Tsinghua-Universität AutoMIA vorgeschlagen, eine KI-Gestaltungsmethode zur automatischen Generierung von Spiegel-Illusionskunst. Benutzer müssen lediglich beliebig zwei Bilder angeben, die jeweils dem Muster vor dem Spiegel und dem Muster im Spiegel entsprechen. AutoMIA kann den Entwurf des 3D-Kunstwerks automatisch abschließen und unterstützt die direkte 3D-Druckausgabe zur Herstellung des Kunstwerks.

Link zur Arbeit: http://arxiv.org/abs/2607.02015

Link zum Code: https://github.com/zxp555/AutoMIA

Die Arbeit wurde von CVPR 2026 angenommen und als Highlight Paper der Konferenz ausgezeichnet; gleichzeitig erhielt die Arbeit aufgrund ihrer hohen Berechnungseffizienz den Efficient CVPR Award.

Forschungshintergrund

Optische Illusionskunst ist seit langem ein wichtiges Thema im Schnittbereich von Kunst, Psychologie und Computer Vision. Übliche 2D-Illusionen umfassen Mischbilder, visuell verzerrte Bilder usw.; 3D-Illusionen umfassen Shadow Art, Multi-View Wire Art usw.

Diese Methoden hängen normalerweise von bestimmten Blickwinkeln, Projektions- oder Schattenbeziehungen ab, sodass dasselbe Objekt unter unterschiedlichen Beobachtungsbedingungen unterschiedliche Erscheinungsformen zeigt.

Mirror Illusion Art ist eine speziellere 3D-Illusion: Wenn ein reales Objekt vor einen Spiegel gestellt wird, sieht der Beobachter ein Muster auf der Vorderseite und ein anderes Muster im Spiegel.

Bisher erforderten entsprechende Entwürfe oft eine große Menge manueller Ableitungen und manueller Anpassungen und konzentrierten sich meist auf die Formgestaltung, sodass es schwierig ist, gleichzeitig farbige Muster zu verarbeiten. Wenn man direkt Methoden wie Shadow Art übernimmt, entstehen leicht Oberflächenrauschen, Hintergrundschwebteile oder interne Brüche, was die visuelle Qualität und die physische Herstellung beeinträchtigt.

Daher stellen die Autoren eine direkte Frage: Kann KI diese Spiegel-Illusionsobjekte automatisch entwerfen? Kann das System bei Angabe von zwei Zielbildern gleichzeitig die 3D-Form und die Farbe optimieren, sodass dasselbe Objekt unter zwei Blickwinkeln zwei angegebene Erscheinungsformen zeigt?

Forschungsmethoden

AutoMIA modelliert dieses Problem als eine inverse Gestaltungsaufgabe mit zwei Blickwinkeln. Das System stellt das 3D-Objekt mit Voxeln dar, wobei jedes Voxel Dichte- und Farbinformationen enthält; anschließend rendert es das Objekt aus zwei angegebenen Blickwinkeln mittels differenzierbarem Volumen-Rendering und vergleicht die Renderergebnisse mit zwei Zielbildern.

Das Optimierungsziel umfasst sowohl Formähnlichkeit als auch Farbähnlichkeit, sodass das generierte Objekt nicht nur die Konturvoraussetzungen erfüllt, sondern auch die Farbe des Zielbildes erzeugen kann.

Bei der praktischen Optimierung entdeckten die Autoren vier Arten von Schlüsselproblemen: Oberflächenrauschen, Hintergrundrauschen, interne Brüche sowie ein Ungleichgewicht bei der Optimierung von Form und Farbe.

Zu diesem Zweck schlägt die Arbeit vier Kernmechanismen vor.

Das erste ist PAC, also das Pruning von verbundenen Bereichen basierend auf Projektionsausrichtung. Das System projiziert die verbundenen Komponenten in den aktuellen Voxeln nacheinander auf die zwei Blickwinkel und bewertet sie anhand ihres Überlappungsgrades mit der Ziel-Maske und des Überlaufs in den Hintergrund. Es behält die Strukturen bei, die wirklich zum Zielmuster beitragen, und entfernt schwebende oder ungültige Rauschteile.

Das zweite ist PWA, also positionsbasiertes gewichtetes adaptives Rauschunterdrückung. Es passt das Hintergrundstraffungsgewicht anhand des Abstands der Pixel zum Zielbereich an, sodass falsche Projektionen, die weit vom Zielmuster entfernt sind, stärker bestraft werden, wodurch das Hintergrundrauschen in der Ferne reduziert wird.

Das dritte ist IVP, also interner Voxelschutz. Da die Überwachungsbilder hauptsächlich die Objektoberfläche beschränken, werden interne Voxel bei der Optimierung leicht fehlerhaft geschwächt, was zu Strukturbrüchen führt. IVP erkennt interne Voxel und legt eine untere Dichtegrenze fest, um die Integrität des Objekts zu erhalten, was besonders für den nachfolgenden 3D-Druck wichtig ist.

Das letzte ist SCD, also entkoppelte Optimierung von Form und Farbe. AutoMIA unterteilt den Trainingsprozess in Phasen der Formoptimierung, gemeinsamen Optimierung von Form und Farbe sowie Farbverfeinerung, wodurch verhindert wird, dass Farben die geometrische Struktur zu früh stören, und Konflikte zwischen Farben verschiedener Blickwinkel reduziert werden.

Experimentelle Ergebnisse

Die Arbeit hat AutoMIA mit mehreren Arten von 2D-Bildern als Eingabe validiert, darunter Buchstaben, Zahlen, chinesische Schriftzeichen, geometrische Muster, Emojis, Cartoon-Muster und Logos usw.

In den Experimenten verglichen die Autoren AutoMIA mit Methoden wie Shadow Art (SA) und Shadow Art Revisited (SAR). Da die Basismethoden hauptsächlich die Formoptimierung unterstützen, umfassten die Vergleichsschwerpunkte Indikatoren wie Glattheit, Rauschpegel und Formkonsistenz.

Die Ergebnisse zeigen, dass AutoMIA deutliche Vorteile bei der Rekonstruktionsqualität erzielt. Im Bericht der Arbeit erreicht die Glattheit (SL) von AutoMIA 0,989, der Rauschpegel (NL) sinkt auf 0,049 und die Formkonsistenz (SS) erreicht 0,931; im Vergleich dazu weisen SA und SAR deutliche Lücken bei der Formkonsistenz und der Rauschsteuerung auf.

Gleichzeitig beträgt die durchschnittliche Entwurfszeit von AutoMIA auf einer einzelnen RTX 3090 nur 76 Sekunden, und die durchschnittliche Belegung des Grafikspeichers liegt bei etwa 2,6 GB, was eine hohe Berechnungseffizienz zeigt.

Aus den Visualisierungsergebnissen geht hervor, dass SA und SAR leicht Probleme wie schwebendes Rauschen, unebene Oberflächen oder interne Brüche erzeugen, was dazu führt, dass das Objekt keine stabile, vollständige physische Struktur bilden kann.

Die von AutoMIA generierten Ergebnisse können jedoch nicht nur die Konturen der zwei Zielbilder besser abgleichen, sondern auch die farbigen Oberflächen der Eingabebilder rekonstruieren, sodass sowohl der Blickwinkel von der Vorderseite als auch der Blickwinkel im Spiegel eine klare visuelle Semantik aufweisen.

Für die Spiegel-Illusionskunst ist dieser Punkt besonders entscheidend: Wenn die Form korrekt ist, aber die Farben durcheinander sind, oder wenn die Farben ähnlich sind, aber die Struktur zerbrochen ist, lässt sich am Ende kein überzeugender Illusionseffekt erzielen.

Ablationsstudien zeigen weiter, dass PAC, PWA, IVP und SCD alle zum Endergebnis beitragen. Das Entfernen eines beliebigen Moduls führt zu einer Verschlechterung der Rekonstruktionsqualität. Zum Beispiel erhöht das Entfernen von PAC das Rauschen erheblich und verringert die Formkonsistenz; das Entfernen von SCD beeinträchtigt Form, Farbe und Glätteeffekt.

Dies zeigt, dass AutoMIA nicht einfach auf Voxel-Optimierung setzt, sondern eine systematische Gestaltung für die bei dem Entwurf von Spiegel-Illusionen auftretenden Probleme durchführt.

Im Folgenden wird ein Beispiel aus der digitalen Welt angegeben. Aus der Abbildung geht hervor, dass in der digitalen Simulationssoftware Blender ein Spiegel-Illusionsobjekt mit gutem Effekt gerendert wurde.

Neben den digitalen Ergebnissen zeigt die Arbeit auch mehrere Fälle von physischen Herstellungen. Die Autoren wandeln das optimierte Voxel-Modell in ein 3D-druckbares Format um und stellen das reale Objekt mittels 3D-Druck her.

Auf den Fotos der physischen Objekte zeigen Vorderseite und Spiegelbild des Objekts unterschiedliche Muster, was darauf hinweist, dass diese Methode erfolgreich vom digitalen Entwurf in die physische Welt überführt werden kann.

Benutzer können auf Basis dieser Methode verschiedene Arten von Kunstwerken herstellen.

Schlussfolgerung und Ausblick

Die Forscher schlagen AutoMIA vor, ein KI-Gestaltungssystem zur automatischen Generierung von Mirror Illusion Art.

Es kann aus zwei 2D-Bildern die Form und Farbe des 3D-Objekts gemeinsam optimieren und durch Mechan