Auch das Füttern von KI mit "Rauschen" kann die Leistungswerte erhöhen, diese Arbeit ermöglicht den positiven Transfer von Rauschen.

Die Quelldaten im Transfer Learning müssen nicht unbedingt Bilder, Texte oder Audiodateien sein.

Eine Gruppe von Geräuschen, die zufällig aus der Gauß-Verteilung entnommen wurden und keine Semantik aufweisen, kann dem Modell auch helfen, bei wenigen Annotationen bessere Lernergebnisse zu erzielen.

Diese Arbeit heißt Semi-Supervised Noise Adaptation (SSNA) und das entsprechende Paper wurde auf der ICML 2026 veröffentlicht.

Das SSNA-Team hat darüber hinaus das Noise Adaptation Framework (NAF) vorgeschlagen. Es nutzt zufällig generierte Geräusche, um eine diskriminative Klassenstruktur zu konstruieren, und überträgt diese Struktur auf die echten Zieldaten, um das Lernergebnis des Modells in Szenen mit wenigen Annotationen zu verbessern.

△NAF projiziert den Geräuschbereich und den Zielbereich in einen gemeinsamen Darstellungsraum und führt die Ausrichtung auf Klassenebene durch. Das Bild stammt aus dem Paper.

Bei nur 4 annotierten Stichproben pro Klasse und dem Backbone-Netzwerk ResNet-18 erzielte NAF auf den Datensätzen CIFAR-10, CIFAR-100, DTD-47 und Caltech-101 eine Genauigkeit, die um 12,35, 7,61, 4,38 und 2,74 Prozentpunkte höher lag als die des Standard-Überwachungslern-Baseline ERM (Empirical Risk Minimization), die nur mit annotierten Stichproben trainiert wurde. Der Quellcode des Papers ist inzwischen Open Source, weitere Details finden Sie am Ende des Artikels.

Ersetzen des echten Quellbereichs durch Geräusche

Beim herkömmlichen Transfer Learning wird normalerweise ein Quellbereich mit reichhaltigen Labels benötigt. Echte Quelldaten sind jedoch nicht immer leicht zugänglich. Datenschutz, Geheimhaltungsvorgaben und Urheberrechtsbeschränkungen können dazu führen, dass die Daten des Quellbereichs nicht gemeinsam genutzt werden können. SSNA versucht diese Voraussetzung aufzuheben: Im Quellbereich werden keine echten Stichproben platziert, sondern Geräusche, die aus einer einfachen Wahrscheinlichkeitsverteilung generiert werden.

Das konkrete Vorgehen ist nicht kompliziert. Angenommen, die Zielaufgabe umfasst C Klassen, dann entnimmt das Forschungsteam zunächst für jede Klasse einen Mittelwertvektor zufällig in einem 1024-dimensionalen Raum, verwendet die Einheitsmatrix als Kovarianz, konstruiert daraus C Gauß-Verteilungen und entnimmt dann aus jeder Verteilung 50 Geräuschvektoren. Der Geräuschbereich und der Zielbereich verwenden denselben Satz von Klassenindizes. Jede Geräuschklasse entspricht im Voraus einem Zielklassenindex, aber diese Zuordnung selbst enthält keine semantischen Informationen.

Die Nummern selbst haben hier keine Semantik. Die Geräuschklasse 0 steht nicht von Natur aus für „Katze“, sondern wird von den Forschern vor Beginn des Trainings fest einer bestimmten Klasse im Zielbereich zugeordnet. Was tatsächlich übertragen wird, ist auch nicht das visuelle Wissen über Katzen oder Hunde, sondern die diskriminative Struktur, die im Geräuschbereich gebildet wird.

Geräusche derselben Klasse werden zusammengepresst, und Geräusche verschiedener Klassen werden voneinander getrennt. Solange diese Struktur mit dem Zielbereich ausgerichtet werden kann, kann sie klarere Klassifizierungsgrenzen für echte Zielstichproben liefern.

Wenige Labels sind weiterhin erforderlich

Geräusche können echte Quelldaten ersetzen, aber nicht vollständig die Labels des Zielbereichs ersetzen. Der Grund liegt auf der Hand: Geräusche stammen aus einem anderen Raum, und die Klassennummern werden künstlich festgelegt. Das Modell muss auf wenige annotierte Zielstichproben zurückgreifen, um zu wissen, mit welcher echten Klasse die Geräuschklasse 0 ausgerichtet werden soll.

Als die Anzahl der annotierten Stichproben pro Klasse auf CIFAR-100 auf 0 reduziert wurde, lagen die Genauigkeiten von ERM und NAF nur bei 0,97 % bzw. 1,34 %, beide nahe dem Zufallsniveau. Sobald wenige Annotationen bereitgestellt werden, übertrifft NAF ERM kontinuierlich.

Daher lautet die Schlussfolgerung dieser Arbeit: In der Einstellung des halbüberwachten Klassifizierens ist der echte Quellbereich keine notwendige Bedingung, um positiven Transfer zu erreichen.

NAF führt hauptsächlich drei Schritte durch

Ausgehend von der im Paper angegebenen Generalisierungsgrenze teilt NAF das Trainingsziel in drei Teile auf.

Zuerst die wenigen echten Labels gut lernen

Der Kodierer des Zielbereichs bildet die echten Stichproben in den gemeinsamen Darstellungsraum ab, und der Klassifikator berechnet den Kreuzentropieverlust anhand weniger annotierter Stichproben. Dieser Teil stimmt mit dem normalen Überwachungslernen überein und dient dazu, die Brücke zwischen Geräuschklassen und echten Klassen zu bauen.

Dann lassen Sie die Geräusche eine klare Klassenstruktur bilden

Der Geräuschprojektor ist dafür verantwortlich, die zufälligen Vektoren in denselben Darstellungsraum abzubilden, und der Klassifikator erkennt diese Geräusche anhand der voreingestellten Klassennummern. Nach dem Training sammeln sich Geräusche derselben Klasse allmählich an, und Geräusche verschiedener Klassen trennen sich voneinander.

Zum Schluss die beiden Seiten ausrichten

NAF berechnet auch den Verteilungsunterschied zwischen dem Geräuschbereich und dem Zielbereich. Das Modul für die Verteilungsausrichtung ist nicht auf eine bestimmte Implementierung beschränkt. Das Paper vergleicht mehrere Lösungen und verwendet schließlich im Experiment empirisch die Negative Domain Similarity (NDS) als Standardmechanismus. NDS vergleicht gleichzeitig den globalen Mittelwert und die Mittelwerte aller Klassen der beiden Bereiche und nutzt die Kosinusähnlichkeit, um sie einander näher zu bringen. Die Klassenmittelwerte der nicht annotierten Zielstichproben werden iterativ durch die Pseudolabels geschätzt, die vom Modell erzeugt werden.

Das gesamte Ziel kann geschrieben werden als

. Darin ist

für die Klassifizierung der wenigen echten annotierten Zielstichproben zuständig,

für die Geräuschklassifizierung zuständig,

für die Verteilungsausrichtung von Zielbereich und Geräuschbereich zuständig. Die im Paper angegebene Generalisierungsgrenze entspricht ebenfalls diesen drei Punkten: dem empirischen Fehler des Zielbereichs, dem empirischen Fehler des Geräuschbereichs und dem Verteilungsunterschied der beiden Bereiche im gemeinsamen Darstellungsraum.

Von CIFAR bis ImageNet können Geräusche Vorteile bringen

Die Hauptexperimente umfassen 8 visuelle Datensätze und 1 Datensatz für die Textklassifizierung. Mit Ausnahme von ImageNet-1K wurden bei visuellen Aufgaben 4 annotierte Stichproben pro Klasse verwendet, und die übrigen Trainingsstichproben dienten als nicht annotierte Daten.

Auf ResNet-18 erreichte die Top-1-Verbesserung von NAF gegenüber ERM jeweils: CIFAR-10 +12,35, CIFAR-100 +7,61, DTD-47 +4,38 und Caltech-101 +2,74 Prozentpunkte.

△

Die feingranulare Klassifizierung funktioniert ebenfalls gut. Bei Verwendung von ResNet-18 verbesserte sich NAF auf CUB-200, Oxford Flowers-102 und Stanford Cars-196 gegenüber ERM um 8,94, 5,51 bzw. 7,74 Prozentpunkte.

Auf dem größeren Datensatz ImageNet-1K behielt das Forschungsteam 100 annotierte Stichproben pro Klasse bei. NAF erreichte eine Genauigkeit von 37,10 %, was 0,99 Prozentpunkte höher ist als bei ERM. Bei der Textaufgabe AG News-4 erreichte das mit BERT arbeitende NAF 82,82 %, was 4,18 Prozentpunkte höher ist als die 78,64 % von ERM.

NAF kann auch direkt in bestehende halbüberwachte Verfahren eingefügt werden. Das Paper integrierte es in UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM und SA-FixMatch, und alle erzielten insgesamt Vorteile. Am Beispiel der 20 Trainingsrunden auf CIFAR-10 stieg die Genauigkeit von UDA und FixMatch nach dem Hinzufügen von NAF um 20,83 bzw. 9,91 Prozentpunkte.

Das wirklich Nützliche ist nicht das „Zufällige“, sondern die Struktur

Warum können Geräusche helfen? Die Ablationsexperimente des Papers weisen auf denselben Faktor hin: ob zwischen den Klassen eine trennbare Struktur vorhanden ist.

Das Team presste zuerst die Geräusche aller Klassen zu demselben Punkt zusammen. Dadurch verlor der Geräuschbereich vollständig die diskriminative Struktur. NAF erzielte keine Vorteile, sondern zeigte einen deutlichen negativen Transfer. Die Genauigkeit auf CIFAR-10 fiel von 58,15 % bei ERM auf 33,34 %, und auf CIFAR-100 von 42,24 % auf 6,79 %.

Im Gegenteil, wenn der Abstand zwischen den Mittelpunkten der Geräuschklassen schrittweise vergrößert wurde, stieg die Genauigkeit auf CIFAR-100 von 43,80 % kontinuierlich auf 49,78 %. Dies zeigt, dass je einfacher die Geräuschklassen zu unterscheiden sind, desto stärker ist normalerweise die strukturelle Führung, die sie liefern können.

Die Anzahl der Geräusche ist dagegen nicht so entscheidend. Wenn die Anzahl der Geräusche pro Klasse von 10 auf 100 erhöht wurde, blieb die Genauigkeit stabil bei etwa 50 %; nach der Erhöhung auf 200 sank sie leicht. Daraus schließt das Paper, dass wenige Geräusche ausreichen, um ihre Wirkung zu entfalten, solange ein trennbares Muster gebildet werden kann.

△

Das Forschungsteam vereinfachte den Geräuschbereich auch zu einem Mittelpunkt pro Klasse. Unabhängig davon, ob der Mittelpunkt fest oder lernbar ist, liegen die Ergebnisse über denen von ERM; dabei sind lernbare Mittelpunkte besser als feste Mittelpunkte, liegen aber immer noch unter dem vollständigen NAF.

In dem Experiment zum Transfer von Amazon nach Caltech-10 sind die echten Quelldaten insgesamt noch etwas überlegen, aber der Geräuschquellbereich konnte die Genauigkeit bereits von 83,51 % bei ERM auf etwa 88 % bis 89 % steigern. Dies liefert auch eine realistischere Positionierung: Wenn echte Quelldaten nicht verfügbar sind, können synthetische Geräusche eine kostengünstige Alternative darstellen.

Es unterscheidet sich auch von der üblichen Datenaugmentierung. Die Datenaugmentierung führt normalerweise Rotation, Zuschneidung, Interpolation oder Generierung in der Nähe echter Stichproben durch; SSNA konstruiert zuerst einen unabhängigen Geräuschbereich und führt dann die domänenübergreifende Ausrichtung im Darstellungsraum durch.

Zusammenfassung: Ohne Semantik kann die Struktur trotzdem übertragen werden

Diese Arbeit liefert eine neue, gegen die Intuition verstoßende Perspektive für das Transfer Learning: Quelldaten können der Zielaufgabe helfen, nicht unbedingt vollständig von ihrer echten Semantik abhängig zu sein. Die im Darstellungsraum gebildete Klassenstruktur kann ebenfalls zu übertragbarem Wissen werden.

NAF nutzt genau diesen Punkt, um