KI-Bildgenerierung: 1000 % Beschleunigung ohne Training – Die einfachste „Dreistufen-Pipeline“

Die Fähigkeiten von KI-Bildgenerierung werden immer stärker, aber für Nutzer lässt sich das Erlebnis auf ein einziges Wort reduzieren: Langsam.

Für ein Bild mit 1024er-Auflösung muss das Diffusionsmodell vom Prompt bis zum fertigen Ergebnis oft wiederholt in hochauflösenden Räumen samplen. Die Qualität steigt, aber gleichzeitig verlängert sich auch die Wartezeit. Je leistungsfähiger das Modell, desto höher die Kosten für die Inferenz.

Unter den gängigen Beschleunigungsmethoden für Diffusionsmodelle in der Vergangenheit hängen Verfahren wie Quantisierung und effizientes Attention stark von der Hardware-Kooperation ab; die Schritt-Destillation erfordert kostspieliges Fine-Tuning und ist während des Trainings oft instabil; Methoden der Merkmal-Cache-Klasse müssen Zwischenmerkmale dynamisch erkennen und zwischenspeichern, und das Beschleunigungsverhältnis lässt sich kaum über das 5-fache steigern.

Ist es möglich, die Bildgenerierungsgeschwindigkeit direkt zu steigern – ohne auf spezielle Hardware angewiesen zu sein, das Modell zu destillieren oder zu fine-tunen und ohne zur Laufzeit dynamische Erkennungen durchzuführen?

Ein Forschungsteam der Beihang-Universität, der NTU und der ETH hat kürzlich einen sehr einfachen Versuch unternommen:

Zuerst in niedriger Auflösung skizzieren, dann hochskalieren und zum Schluss in hoher Auflösung die Details ergänzen.

MrFlow (Multi-Resolution Flow Matching) nutzt diese dreistufige Vorgehensweise, um die End-to-End-Generierungszeit bei Modellen wie Qwen-Image von 49,32s auf 4,77s zu senken – was einer praktischen Beschleunigung von 10,35x entspricht.

Am Tag der Veröffentlichung erreichte das Paper die Hugging Face Daily Papers; innerhalb von drei Tagen sammelte es auf GitHub mehr als 200 Stars. Mittlerweile steht es auch auf der Liste der Hugging Face Trending Papers.

Gleichzeitig haben die Entwickler in der Community bereits begonnen, mit MrFlow zu experimentieren, es zu diskutieren und zu erweitern:

Zurück zu MrFlow: Warum kann ein so einfacher Ablauf eine End-to-End-Beschleunigung im Bereich des 10-fachen erreichen?

Zuerst: Die Quellen der Beschleunigung

Die standardmäßige starke Beschleunigungskonfiguration von MrFlow lautet 12+1:

• In der niedrigauflösenden Phase laufen 12 Schritte ab
• In der hochauflösenden Phase erfolgt nur eine einzelne Inferenz

Bei der nativen Hochauflösungs-Generierung konzentriert sich der größte Rechenaufwand auf das hochauflösende Sampling. MrFlow verlagert den Großteil der Arbeit in die niedrigauflösende Phase, während in der Hochauflösung nur kurze Detailverbesserungen stattfinden. Die Kosten für zusätzliche Schritte wie VAE, Super-Resolution und Rauschvorbereitung sind gering. Selbst unter Einbeziehung dieser Schritte wird eine End-to-End-Beschleunigung von über dem 10-fachen erreicht.

Zweitens: Das Generierungsergebnis

Bei einer Beschleunigung im 10-fachen Bereich erzeugt MrFlow stabil klare und saubere Bilder. Quantitative Metriken zeigen, dass der Qualitätsunterschied auf etwa 1 % begrenzt werden kann.

Beispiele auf Qwen-Image (10,3-fache Beschleunigung):

Beispiele auf FLUX.1-dev (8,25-fache Beschleunigung):

Warum eine mehrstufige Auflösung gewählt wird

Betrachten wir das Designprinzip: Die natürliche räumliche Informationsstruktur von Bildern schafft Voraussetzungen für diese einfache und effiziente Generierung bei reduzierter Auflösung. Elemente wie das Motiv, seine Position, Haltung, Komposition und die Übereinstimmung der globalen Semantik mit dem Prompt müssen nicht unbedingt direkt in hochauflösenden Räumen von Grund auf berechnet werden. Eine niedrigere Auflösung zerstört die ursprünglichen semantischen Informationen kaum, behält die gesamte räumliche Struktur bei – und gleichzeitig sinkt die Anzahl der Bild-Tokens quadratisch.

Genau diese Chance nutzt MrFlow: Zuerst die Struktur kostengünstig generieren, dann die Details verfeinern. Dazwischen kann direkt ein vortrainiertes Super-Resolution-Modell die Verbindung herstellen.

Details zu jedem Schritt

Schritt 1: Generieren der niedrigauflösenden Struktur

Zuerst erzeugt das Ausgangsmodell im niedrigauflösenden Latent-Raum ein Bild. Dieser Schritt übernimmt die globale Struktur: Motiv, Layout, Semantik und Farbstimmung.

Die Vorteile der niedrigen Auflösung liegen auf der Hand:

• Die Anzahl der Bild-Tokens sinkt quadratisch, jeder einzelne Schritt ist kostengünstig
• Niedrigfrequente Strukturen konvergieren leichter, sodass auch die Gesamtzahl der Schritte geringer ausfallen kann

Schritt 2: Zurück in den Pixelraum zur Super-Resolution

Anschließend wird das niedrigauflösende Ergebnis zu einem Bild dekodiert, um durch Super-Resolution die Auflösung zu erhöhen.

Dabei gibt es eine entscheidende Wahl: Statt direkt im Latent-Raum hochzuskalieren, geschieht dies im Pixelraum.

Denn das Upsampling im Latent-Raum mag zwar einfach erscheinen, führt aber leicht zu lokalen Unschärfen, unregelmäßigen Texturen und zerstörten Strukturen in der Nachverarbeitung. Die Super-Resolution im Pixelraum hingegen wirkt wie die Fortsetzung der Bearbeitung auf dem festgelegten Bild: Die Struktur bleibt erhalten, Details werden ergänzt – und bereits vorhandene fortschrittliche vortrainierte Super-Resolution-Modelle lassen sich vollständig wiederverwenden.

In dem Paper werden verschiedene Super-Resolution-Strategien explizit verglichen. Direkte Interpolation und einige auf Regressionsverlust trainierte Super-Resolution-Modelle neigen zu Unschärfen, diffusionsbasierte Super-Resolution kann lokale Semantik fehlerhaft verändern – während GAN-basierte Modelle wie Real-ESRGAN ein ausgewogeneres Verhältnis zwischen Schärfe, Stabilität und Geschwindigkeit erreichen.

Schritt 3: Etwas Rauschen hinzufügen, dann in hoher Auflösung verfeinern

Das Bild nach der Super-Resolution wirkt bereits wie ein hochauflösendes Foto, weist aber unvermeidbare unscharfe lokale Details oder semantische Unstimmigkeiten auf – insbesondere bei der Generierung von Text. Der Grund ist einfach: Das Super-Resolution-Netz versteht den Prompt nicht und ergänzt möglicherweise Texturen, die plausibel erscheinen, aber semantisch nicht vollständig korrekt sind.

Daher kodiert MrFlow das super-aufgelöste Bild zurück in den Latent-Raum und fügt zunächst eine geringe Menge Rauschen niedriger Intensität hinzu, um die nachfolgende Überarbeitung vorzubereiten. Da die Super-Resolution die niedrigfrequenten Informationen des Motivs nicht verändert hat und nur ein kleiner Teil der ergänzten Hochfrequenzdetails nachgebessert werden muss, reicht es normalerweise, Rauschen mit einer Stärke von etwa 0,12 hinzuzufügen, um die Hochfrequenzsignale zu überschreiben.

Abschließend übernimmt das ursprüngliche Flow-Matching-Modell eine einstufige hochauflösende Verfeinerung. Nur ein einziger Schritt ist nötig, weil die gültigen Informationen aus der vorherigen niedrigauflösenden Generierung und der Super-Resolution bereits ausreichend sind. Die hinzugefügte Rauschintensität zur Korrektur fehlerhafter Signale ist gering, sodass der Ausgangspunkt der hochauflösenden Inferenz natürlich auf einer Trajektorie nahe dem sauberen Bild liegt – und eine einstufige Abtastung entlang der geraden Linie ausreicht.

Verglichen mit anderen trainingsfreien Beschleunigungsmethoden: Wo liegen die Vorteile?

Betrachtet man die Trade-off-Kurven und die Implementierung, liegen die Vorteile von MrFlow auf der Hand: Flexible Konfiguration, Effizienz und Genauigkeit, einfacher Code. Die Geneval-Testmetrik im Verhältnis zum Beschleunigungsverhältnis liegt stabil im oberen rechten Bereich des Diagramms und übertrifft andere trainingsfreie Beschleunigungsmethoden deutlich.

Dabei stoßen Cache-basierte Methoden bei einem End-to-End-Beschleunigungsverhältnis über 4 schnell an ihre Grenzen und brechen zusammen.

Andere mehrstufige Auflösungsbeschleunigungsmethoden führen das Upsampling im Latent-Raum durch – was leicht zu Unschärfen, Artefakten und lokalen Strukturverzerrungen führt, zudem unterscheidet sich ihre Generalisierbarkeit auf verschiedenen Modellen deutlich. Bei visuellen Vergleichen wird der Unterschied zu MrFlow noch offensichtlicher als anhand von Testmetriken: Diese Methoden leiden bei hohem Beschleunigungsverhältnis oft unter lokalen Texturkollapsen oder instabilen Strukturen, während MrFlow Details sauberer bewahrt.

Bei einem direkten Vergleich aller Methoden zeigt sich derselbe Trend: MrFlow erreicht das beste Geschwindigkeits-Qualitäts-Verhältnis unter den trainingsfreien Verfahren. In Kombination mit destillierten Methoden lässt sich die Beschleunigung zusätzlich weiter steigern.

Vergleichsbeispiele auf Qwen-Image:

Vergleichsbeispiele auf FLUX.1-dev:

Funktioniert mit allen modernen Modellen und lässt sich orthogonal zur Zeitschritt-Destillation kombinieren

Das Paper und das Open-Source-Repository decken bereits eine Vielzahl fortschrittlicher Modelle ab:

Bemerkenswert ist, dass es sich zusätzlich mit Zeitschritt-Destillationsmodellen kombinieren lässt – was gegenüber dem ursprünglichen Basismodell mit 50 Schritten eine Beschleunigung von über 25x erreicht. Das bedeutet: Wenn Sie bereits destillierte Modelle wie Pi-Flow oder Z-Image-Turbo nutzen, braucht MrFlow keine neu trainierte Kombinationslösung, sondern kann direkt auf den vorhandenen Gewichten aufsetzen, um die Geschwindigkeit weiter zu erhöhen.