Können generative Modelle jetzt auch Ende-zu-Ende trainiert werden? Der Kern ist ausgerechnet eine for-Schleife

Im Jahr 2012 beendete AlexNet eine Ära mit einem überwältigenden Sieg. Davor mussten bei der Bilderkennung die Prozesse zur schrittweisen Merkmalsextraktion von Menschen manuell entworfen werden; AlexNet bewies etwas, das später immer wieder bestätigt wurde: Wenn man die gesamte Aufgabe end-to-end dem Modell zum selbstständigen Lernen überlässt, übertrifft dies fast immer die sorgfältig von Menschen entworfene phasenweise Pipeline.

Von der Bildklassifizierung über die Objekterkennung bis zur Bildsegmentierung steckt hinter jedem Sprung des Deep Learning dasselbe Prinzip: Lass es alles auf einmal selbst lernen.

Nur ein Bereich war stets die Ausnahme: Generative Modelle.

Die heute stärksten und am besten skalierbaren generativen Modelle (sowohl autoregressive als auch Diffusionsmodelle) sind nicht end-to-end.

Sie lernen beim Training nur, „einen kleinen Schritt“ vorherzusagen, müssen diesen Schritt bei der Inferenz aber wie ein rekurrentes Netzwerk hunderte oder tausende Male wiederholt entfalten.

Für Training und Inferenz wird nicht dieselbe Sampling-Methode verwendet. Dieser Riss führt zu einem alten Problem: Der Fehler jedes Schritts wird an den nächsten weitergegeben, die Eingabe driftet allmählich von der Verteilung ab, die während des Trainings gesehen wurde, und die Fehler kumulieren sich Schritt für Schritt. In der Fachsprache wird dies als „Exposure Bias (Expositionsverzerrung)“ bezeichnet.

Mit anderen Worten: Die Kern-Erfahrung des Deep Learning, dass „End-to-End besser ist“, konnte seit mehr als einem Jahrzehnt nie wirklich auf generative Modelle angewendet werden.

Erst kürzlich versucht ein Papier der UIUC und der Harvard University, dieses letzte Puzzleteil zu ergänzen.

Die Autoren haben dieses neue Paradigma Explorative Modeling (explorative Modellierung) genannt, kurz XM. Seine Idee ist so einfach, dass sie fast naiv wirkt, führt aber zu einer kühnen Schlussfolgerung: Generative Modelle haben neben Parametern und Daten tatsächlich eine dritte Achse, die man skalieren kann.

Projektwebsite: https://explorative-modeling.github.io

Adresse des Papiers: https://arxiv.org/abs/2607.27372

Code-Repository: https://github.com/alexiglad/XM

Die Wurzel des Problems: Das Modell kann nur „den Durchschnitt bilden“

Um zu verstehen, was dieses Papier löst, muss man zuerst verstehen, worin die Schwierigkeit der Generierung liegt.

Bei der üblichen überwachten Lernaufgabe (z. B. Klassifizierung) gibt es für jede Eingabe im Grunde nur eine richtige Antwort, das Modell muss nur eine bestimmte Abbildung lernen.

Aber die Generierung ist anders. Wenn Sie das Modell bitten, „einen Hund zu generieren“, kann es unendlich viele richtige Antworten geben. Diese gültigen Ausgaben sind einzelne Modi (also einzelne unabhängige Gipfel) in der Datenverteilung. Die Schwierigkeit der Generierung liegt genau darin, all diese Modi gleichzeitig zu erfassen.

Das Problem ist: Die gängigen generativen Modelle verwenden beim Training Rekonstruktionsverluste (z. B. mittlerer quadratischer Fehler). Wenn eine Eingabe zufällig mit vielen verschiedenen gültigen Zielen kombiniert wird, ist die optimale Lösung, die der Rekonstruktionsverlust liefern kann, der Durchschnitt all dieser Ziele. Für die überwiegende Mehrheit der Daten liegt der Durchschnitt überhaupt nicht auf dem Datenmanifold, sondern zwischen mehreren Modi und sieht keinem davon ähnlich.

Die Abbildung im Papier ist sehr anschaulich: Wenn das Modell ohne Tricks direkt end-to-end regressiert, werden drei Gruppen von Streupunkten zu einem Punkt in der Mitte vorhergesagt, ein Foto eines Hundes wird zu einem unscharfen Fleck, ein Satz degeneriert sich dazu, das Wort „the“ endlos zu wiederholen. Das ist die „Mode Blurring“ (Modus-Unschärfe), also die optimale Lösung ist genau die Antwort, die am wenigsten wie echte Daten aussieht.

Wie umgehen bestehende Modelle dieses Problem? Die Antwort ist, den Vorgang der „Generierung“ aufzuteilen. Autoregressive Modelle sagen jeweils nur ein Element voraus, Diffusionsmodelle entfernen jeweils nur ein kleines Stück Rauschen, das Ziel jedes kleinen Schritts wird so zugeschnitten, dass es fast nur einen einzigen Modus enthält, sodass der Rekonstruktionsverlust nicht mehr den Durchschnitt bildet.

Dieser Ansatz des „Aufteilens des Generierungsprozesses“ ist der Grund, warum Diffusions- und autoregressive Modelle qualitativ hochwertige Proben erzeugen können, aber genau das verhindert auch, dass das Modell end-to-end ist.

Daraus stellen die Autoren eine entscheidende Frage: Ein generatives Modell hat nur zwei Dinge, die man aufteilen kann: Wie es generiert und wie es trainiert wird.

Da das Aufteilen des Generierungspfades das End-to-End-Prinzip zerstört, warum nicht stattdessen den Trainingsprozess aufteilen?

Eine for-Schleife: Der gesamte Kern der explorativen Modellierung

Explorative Modeling teilt den Trainingszyklus selbst auf.

Sein Mechanismus lässt sich in einem Satz erklären: In jedem Trainingsschritt generiert das Modell nicht mehr nur eine Probe, um das Ziel zwangsläufig zu erreichen, sondern erzeugt K Kandidaten und wählt dann nur denjenigen aus, der am nächsten an den echten Daten liegt, um damit zu trainieren und den Gradienten zurückzugeben. Im Papier wird dies als 3 bis 5 Zeilen lange for-Schleife implementiert, so einfach, dass man es fast anzweifelt (Algorithmus 1).

Warum löst dieser Ansatz das Problem der Modus-Unschärfe?

Nehmen wir ein Szenario aus dem Alltag: Raten Sie, wo ein Dartpfeil landet. Wenn Sie nur einmal raten dürfen, ist Ihre optimale Strategie, die durchschnittliche Position aller Pfeile zu erraten – aber das ist oft ein Ort auf der Scheibe, an dem kaum Pfeile stecken. Wenn Sie aber K Mal raten dürfen und nur der nächste Versuch gewertet wird, ändert sich die optimale Strategie sofort: Sie verteilen Ihre Vermutungen so, dass jeder Versuch eine Gruppe von verschiedenen Landepunkten abdeckt.

Beim Modell ist es genauso. Wenn es erlaubt ist, K Kandidaten zu explorieren, werden verschiedene Eingangsrauschen jeweils einen anderen Modus „übernehmen“, anstatt alle in der Mitte zusammenzudrängen, um den Durchschnitt zu bilden. So viele Explorationsschritte das Modell durchführt, so viele Modi kann es stabil erfassen.

Die Autoren nennen diese lange vernachlässigte Fähigkeit generative Expressivität (generative Ausdrucksstärke) und weisen darauf hin, dass sie durch das Trainingsziel selbst bestimmt wird – egal wie groß Sie Parameter und Daten stapeln, sie steigt nicht von selbst an.

Das erklärt auch ein seltsames Phänomen, das die Branche schon lange beobachtet: Warum sind die heutigen besten Modelle so abhängig von der Technik der „Guidance“ (Steuerung)?

Das sogenannte classifier-free Guidance schiebt die Vorhersage im Wesentlichen von dem unscharfen Durchschnitt weg. Aber wenn das Modell selbst nicht unscharf wäre, warum sollte man es dann schieben? Dass Guidance funktioniert, liegt genau an dem Problem der Modus-Unschärfe.

Das Papier stellt zwei Explorationsrichtungen vor: Forward und Reverse. Bei der ersten wird ein echtes Ziel festgelegt und nach dem nächsten Element in der eigenen Generierung gesucht, sie zielt auf „Vollständigkeit“ ab (Abdeckung aller Modi). Bei der zweiten wird eine Generierung festgelegt und nach dem nächsten Element in den echten Daten gesucht, sie zielt auf „Präzision“ ab und erhöht den Rechenaufwand kaum, der Nachteil ist, dass sie auf wenige Modi kollabieren kann. Beide ergänzen sich und können kombiniert verwendet werden.

Die dritte Achse: Je stärker man sie skaliert, desto größer wird der Nutzen

Die wichtigste Schlussfolgerung dieses Papiers ist, dass „Exploration“ zu einer echten Skalierungsachse validiert wird.

Die Autoren haben Exploration zu Diffusions-/Flussmodellen, Jumpy-Modellen und sogar maskierten Diffusions-Sprachmodellen hinzugefügt und bei Bild, Video und Sprache eine einheitlich monotone Leistungssteigerung beobachtet. Noch wichtiger ist der Trend des Nutzens mit zunehmender Größe: Je stärker man skaliert, desto stärker wird der Nutzen.

Die Zahlen im Papier lauten: Mit zunehmender Datengröße steigt der Gewinn durch Exploration von 7 % bis auf 36 %; mit zunehmender Modellgröße steigt er von 13 % bis auf 23 %; wenn die Rechenleistung verdreifacht wird, verdoppelt sich der Effizienzgewinn mehr als.

Konkret verbessert Exploration die FLOP-Effizienz um das 4,1-fache, die Probeneffizienz um das 6,2-fache und die Parametereffizienz um 47 %. Bei der Bildgenerierung schiebt es das derzeit stärkste RAE-Rezept weiter zu einem FID von 1,43 ohne Guidance auf ImageNet, was dem besten Niveau der Branche nahekommt.

Ein großes Modell, das 5 Modi explorieren kann, kann sogar ein XLarge-Modell schlagen, das 47 % mehr Parameter hat, aber keine Exploration durchführt.

Dieser Trend ist nicht unbedeutend. Die Autoren erklären: Bei kleinen Größen wird das Modell hauptsächlich von Parametern und Daten eingeschränkt, die generative Ausdrucksstärke ist noch kein Engpass. Sobald aber Parameter und Daten so skaliert sind, dass sie „keine Einschränkung mehr darstellen“, wird die generative Ausdrucksstärke zunehmend zum echten Engpass – und genau das kann Exploration direkt skalieren.

Angesichts der Tatsache, dass das Training echter Basismodelle heute etwa vier Größenordnungen mehr Rechenleistung verwendet als das größte Experiment in diesem Papier, gehen die Autoren davon aus,