LeCun hat fortlaufend Inhalte weitergeteilt, seine neue Arbeit VISReg löst das zentrale Kernproblem des „Repräsentationskollapses“ des JEPA-Weltmodells.

Die Grundlage des JEPA-Weltmodells ist das selbstüberwachte Lernen (Self-Supervised Learning, SSL), das Yann LeCun seit 2017 kontinuierlich befürwortet.

SSL kann allgemeine Darstellungen aus riesigen Datenmengen ohne manuelle Annotation lernen, steht aber allgemein vor einem zentralen Problem – Darstellungskollaps (representation collapse): Das Modell neigt dazu, verschiedene Eingaben auf denselben oder nur sehr wenige Vektoren abzubilden. Es scheint, als sei das Training abgeschlossen, aber in Wirklichkeit hat es keine diskriminierenden Darstellungen gelernt.

Um den Kollaps zu unterdrücken, verlassen sich die meisten gängigen Methoden auf eine Reihe von heuristischen Techniken (EMA, Lehrer-Schüler-Netzwerke, Stopp-Gradient, eingefrorene Schichten usw.). Diese Techniken machen das Training anfällig, schwer zu parametrisieren und schwächen zudem die Interpretierbarkeit und Erweiterbarkeit der Methode.

Ein anderer Ansatz besteht darin, die Darstellungsverteilung direkt durch Regularisierungsterme einzuschränken.

Das von LeCuns Team vorgeschlagene VICReg teilt das Lernziel in drei Teile auf: Varianz, Invarianz und Kovarianz, und nutzt die Kovarianz, um die Korrelation zwischen verschiedenen Dimensionen einzuschränken. Die Kovarianz beschreibt jedoch nur statistische Größen zweiter Ordnung und kann keine zwei Darstellungen unterscheiden, die gleiche Mittelwerte und Varianzen, aber völlig unterschiedliche Verteilungsformen aufweisen.

Das später vorgeschlagene SIGReg basiert auf dem Cramér–Wold-Theorem und nutzt die Sketching-Technik, um die gesamte Einbettungsverteilung an eine Standard-Gaußverteilung auszurichten, wodurch die vollständige Verteilungsform eingeschränkt wird.

Dennoch weist SIGReg noch zwei entscheidende Mängel auf:

• Verschwinden des Gradienten beim Kollaps: Wenn die Darstellung zu kollabieren beginnt, nimmt der Gradient von SIGReg ab – je schwerwiegender der Kollaps ist, desto schwächer wird das Korrektursignal, sodass sich das Modell kaum von selbst erholen kann;
• Kopplung von Skala und Form: Die beiden unabhängigen Eigenschaften „Amplitudengröße (Skala)“ und „Verteilungsform (Gestalt)“ werden nicht getrennt, die sich während der Optimierung gegenseitig stören, was zu einer schlechten Anpassungsfähigkeit an langschwänzige, minderwertige und niedrigrangige Daten führt.

Das heißt, genau in dem Moment, in dem das Modell das Gradientensignal am dringendsten benötigt, um dem Kollapszustand zu entkommen, nähert sich der Gradient von SIGReg dem Verschwinden.

Das ist genau das Kernproblem, das VISReg lösen soll.

Kürzlich wurde die neue Arbeit zum selbstüberwachten Lernen VISReg (Variance-Invariance-Sketching Regularization) von Turing-Preisträger Yann LeCun wiederholt geteilt und hoch anerkannt – bei der Weiterverbreitung kommentierte er „VICReg begat SIGReg which begat VISReg“ (VICReg hat SIGReg hervorgebracht, SIGReg hat wiederum VISReg hervorgebracht), ein Satz, der die technische Weitergabe dieser Regularisierungslinie verdeutlicht.

Wo liegt die Stärke von VISReg, dass es eine solche Anerkennung von LeCun erhalten kann?

Die Antwort lautet: Es trifft genau das Kernproblem des JEPA-Weltmodells, auf das LeCun seit langem setzt – den Darstellungskollaps (representation collapse).

Link zum Papier: https://arxiv.org/abs/2606.02572

Code / vortrainierte Gewichte: https://github.com/HaiyuWu/visreg

Projektseite: https://haiyuwu.github.io/visreg/

VISReg entkoppelt den Regularisierungstermin zur Verhinderung des Kollaps in zwei unabhängige Ziele: „Skala“ und „Form“. Ohne auf heuristische Trainingstechniken oder riesige Datenmengen angewiesen zu sein, übertrifft es in der Gesamtleistung auf 15 Datensätzen 7 gängige Methoden des selbstüberwachten Lernens. Mit nur etwa 1/10 der Trainingsdaten erreicht es auf Out-of-Distribution (OOD)-Benchmarks bereits das Niveau von DINOv2.

Abbildung 2: Simulation der Gradientengröße ‖∇ℒ‖ in allen Phasen des Darstellungskollapses bei verschiedenen Regularisierungsmethoden. VISReg behält auch im Kollapszustand einen starken Gradienten bei, während der Gradient von SIGReg fast verschwindet.

Kernmethode

VISReg kombiniert die Vorteile von VICReg und SIGReg: Es behält den Varianzterm von VICReg zur Steuerung der Skala bei, ersetzt gleichzeitig den Kovarianzterm durch ein auf der Sliced-Wasserstein-Distanz (Sliced Wasserstein Distance, SWD) basierendes Sketching-Ziel zur Steuerung der Form und entkoppelt beide vollständig durch Stopp-Gradient. Das gesamte Regularisierungsziel besteht aus drei Teilen.

1. Skalenregularisierung (Scale Regularization)

Der erste Teil schränkt die Varianz jeder Dimension ein, um einen Amplitudenkollaps zu verhindern:

Seine entscheidende Eigenschaft ist: Wenn das Modell kollabiert, nähert sich der Gradient dieses Terms einer Konstanten, sodass sich das Modell stabil erholen kann – genau das behebt den Mangel des verschwindenden Gradienten bei SIGReg.

2. Formregularisierung (Shape Regularization)

Der zweite Teil führt zuerst eine Normalisierung durch, um den Einfluss der Skala zu beseitigen, und schränkt dann die Form separat ein. Der entscheidende Schritt ist die Normalisierung mit „Stopp-Gradient“ (stop-gradient, sg):

Hier wird auf die Standardabweichung σσ ein Stopp-Gradient angewendet, sodass die Optimierung des Formverlusts die Skala nicht umgekehrt verändert – das ist genau der Mechanismus, durch den die beiden Ziele „Skala“ und „Form“ wirklich entkoppelt sind und sich nicht gegenseitig stören.

Nach der Normalisierung wird die geometrische Form der Verteilung durch die Sliced-Wasserstein-Distanz an eine isotrope Gaußverteilung ausgerichtet:

Dabei

ist das Quantil der Standard-Gaußverteilung,

ist die zufällige Projektionsrichtung (d. h. „Slice / Sketching“).

Ihre theoretische Grundlage ist das Cramér–Wold-Theorem (Lemma 3.1 des Papiers): Zwei Verteilungen sind genau dann gleich, wenn ihre eindimensionalen Projektionen entlang aller Richtungen auf der Einheitskugel gleich sind. Wenn also die hochdimensionale Darstellung entlang ausreichend vieler zufälliger eindimensionaler Richtungen in Scheiben geschnitten und nacheinander an die Gaußverteilung ausgerichtet wird, entspricht dies der Ausrichtung der gesamten Verteilung im hochdimensionalen Raum – dadurch kann die vollständige Verteilungsform durch kostengünstige eindimensionale Sortiervorgänge beschrieben werden, statt nur durch statistische Größen zweiter Ordnung.

3. Zusammengefasstes Ziel

Der dritte Teil ist ein Zentrierungsverlust, der den Batch-Mittelwert μ zum Ursprung zieht

Die drei Regularisierungsterme werden gewichtet kombiniert:

Der Vorhersageverlust übernimmt das Invarianzziel von JEPA / LeJEPA – sodass die Einbettungen aller Ansichten (global + lokal, insgesamt V Stück)

alle zum Mittelwert der globalen Ansicht

ausgerichtet werden:

Schließlich wird mit einem einzigen Hyperparameter λ zwischen Vorhersage und Regularisierung abgewogen, um das vollständige Ziel zu erhalten:

Vergleich mit VICReg: VICReg entkoppelt die Regularisierung ebenfalls in Varianz + Kovarianz, aber die Kovarianz beschreibt nur statistische Größen zweiter Ordnung. VISReg nutzt das auf Sliced-Wasserstein basierende Sketching-Ziel, um die vollständige Verteilungsform zu beschreiben, und behält gleichzeitig den Varianzterm zur Skalensteuerung bei – es behält also die Flexibilität von VICReg bei und erhält gleichzeitig die Strenge auf Verteilungsebene.

Benötigt nur etwa 15 Zeilen PyTorch-Code

Dieses Regularisierungsziel ist in der Implementierung sehr leichtgewichtig, die Kernlogik umfasst nur etwa 15 Zeilen: