Das MIT-Meisterwerk wird massiv kritisiert: Hat Astra die Qwen-Gewichte radikal modifiziert? Das ist doch nur leeres Prahlen!

Modifiziert Astra die Gewichte kleiner Modelle? Die virale Studie des MIT wird von einem einflussreichen Branchenkenner öffentlich angezweifelt.

Astra hat vor zwei Tagen die gesamte KI-Szene mit einer erstaunlichen Fähigkeit in ihren Bann gezogen: Ohne Training und ohne Berechnung von Gradienten kann es die Gewichte eines anderen KI-Modells direkt verändern.

Das MIT-Team behauptet, dass Astra nur 0,016 % der Gewichte von Qwen3.5-0.8B modifiziert hat, wodurch die Mathematik-Leistung von 7,9 % auf 48,1 % angestiegen ist, was mehr als dem Sechsfachen des ursprünglichen Werts entspricht.

Inzwischen scheint sich die Situation umzukehren.

Ein hochrangiger Kenner der Szene hat einen langen Blogbeitrag veröffentlicht und direkt kritisiert:

Diese Studie ist stark irreführend.

Der Kritiker heißt Matthew Honnibal, der Autor von spaCy und Mitbegründer des KI-Unternehmens Explosion.

Der Trick des Zauberers

Was ist hier eigentlich passiert?

Honnibal nutzt eine treffende Metapher, um das Vorgehen der MIT-Forscher zu verspotten: Es handelt sich um einen Trick der Augenverblendung.

Bühnenzauberer führen denselben Trick oft auf verschiedene Weise vor.

Beim ersten Mal nutzen sie ein spezielles Requisit; beim nächsten Mal zeigen sie Ihnen, dass das Requisit nichts Besonderes ist, aber sie haben selbst etwas versteckt; beim dritten Mal nutzen sie möglicherweise eine Art erzwungener Auswahl.

Wenn Sie die Aufführung ansehen, gehen Sie davon aus, dass es nur eine Technik gibt. Daher scheint jeder Auftritt des Zauberers Ihre Annahmen über die Funktionsweise des Tricks zu widerlegen.

Honnibal ist der Meinung, dass die Darstellung der Experimente in der Astra-Studie genau einem solchen Zaubertrick gleicht.

Wenn man auf das Paper zurückgeht, zeigt der Originaltext tatsächlich drei verschiedene Fähigkeiten:

Gewichte lesen: Nur anhand der ursprünglichen Gewichtszahlen kann man erkennen, welche Aufgabe ein kleines neuronales Netz ausführt.

Gewichte schreiben: Ohne auf Umgebungsrückmeldungen angewiesen zu sein, generiert oder modifiziert man direkt die Parameter eines kleinen Netzes von Grund auf, sodass es kleine Spiele wie Brick Breaker spielen kann.

Große Modelle reparieren: Durch die Modifizierung einiger Gewichte von Qwen wird dessen Leistung bei Mathematiktests erheblich verbessert.

Aber der Kerneindruck, den die Zusammenfassung dieses Papers vermittelt, lautet jedoch —

Astra kann ein anderes Modell verstehen und modifizieren, „nur indem es die ursprünglichen Gewichte beobachtet“.

Wenn man es nur überfliegt, ist es schwer, nicht zu der Annahme zu gelangen:

Sowohl die Erkennung der Funktion eines kleinen Netzes als auch die Verbesserung der Mathematikfähigkeiten eines großen Sprachmodells stammen aus derselben „Gedankenlese“-Superfähigkeit.

Aber ist das wirklich wahr?

Nachdem Honnibal die 8 Experimente im Papier sorgfältig durchgegangen ist, stellte er fest: Die experimentellen Bedingungen zur Umsetzung dieser drei Dinge unterscheiden sich drastisch voneinander.

Das heißt —

Es handelt sich schlicht um eine Begriffsverwechslung.

Zwei technische Wege

Welcher Fehler ist hier eigentlich aufgedeckt worden?

Erstens: Bei Experimenten wie der Erkennung der Aufgabe eines kleinen Netzes und der Reparatur eines steckengebliebenen Rennmodells hat Astra tatsächlich erreicht, „nur die ursprünglichen Gewichte zu betrachten“.

Denn die experimentellen Bedingungen sind sehr streng:

Die Gewichtszahlen (Roh-Float-Werte) werden direkt als Eingabe in den Kontext von Astra eingefügt.

Astra darf keinen Python-Code ausführen.

Astra darf das Zielnetz nicht ausführen, um sein Verhalten zu beobachten.

In diesem Modus verarbeitet Astra Modelle mit sehr kleinen Parametergrößen zwischen 17.000 und 172.000. Das ist zwar bemerkenswert, aber es ist noch ein langer Weg bis zum echten Verständnis eines modernen großen Sprachmodells.

Aber bei dem auffälligsten und aufregendsten Experiment zur Verbesserung der Mathematikfähigkeiten von Qwen ist die Situation völlig anders.

Bei der Reparatur des Qwen-Modells mit 800 Millionen Parametern hat Astra die ursprünglichen Gewichte nicht direkt gelesen.

Stattdessen wurde Astra berechtigt, Python-Programmierung zu verwenden, und maximal 50 Vorwärtstests durchzuführen. Jedes Mal darf das Modell eine Charge von Übungsaufgaben verarbeiten, und durch Beobachtung der Leistung des Modells werden die Gewichte analysiert und modifiziert.

Das sind zwei völlig verschiedene Dinge...

Honnibal weist scharf darauf hin, dass die Zusammenfassung dieser beiden Methoden die Leser leicht zu der Annahme verleitet:

Oh, diese „Gedankenlesetechnik“, die an kleinen Modellen realisiert wurde, kann auch auf große Modelle mit 800 Millionen Parametern skaliert angewendet werden.

Tatsächlich verhält sich Astra bei der Verarbeitung echter großer Sprachmodelle eher wie ein „externer Trainer“, der durch eine Reihe von technischen Maßnahmen wie Programmierung, Ausführung und Beobachtung eingreifen muss.

Der tatsächliche Wert

Bedeutet das also, dass die MIT-Studie keinen Wert hat?

Natürlich nicht.

Man muss anerkennen, dass selbst ohne den Glanz der „Gedankenlesekunst“ die Fähigkeiten, die Astra zeigt, immer noch sehr bemerkenswert sind.

Honnibal gibt auch offen zu: Dass ein KI-Modell dazu aufgefordert wird, Aufgaben zu entwerfen und auszuführen, die sonst nur menschliche Maschinenlern-Ingenieure erledigen können — Code-Schnipsel zu schreiben, um Netzwerkgewichte zu analysieren oder sogar direkt zu modifizieren — ist an sich schon ein großer Fortschritt.

KI-Modelle von vor ein oder zwei Jahren hätten bei all diesen Aufgaben versagt.

Das zeigt, dass die heutigen Spitzenmodelle bereits über ausgeprägte Fähigkeiten zur Nutzung von Werkzeugen und zum Schlussfolgern verfügen, und als „KI-Ingenieur“ andere Modelle diagnostizieren und reparieren können. Das ist an sich schon eine bemerkenswerte technische Durchbruch.

Das eigentliche Problem liegt in der Art der Darstellung der Ergebnisse.

Zwei völlig unterschiedliche Fähigkeiten werden vage als eine einheitliche „Superfähigkeit“ verpackt, die das Gehirn von KI-Modellen lesen und schreiben kann.

Ehrlich gesagt, auf den ersten Blick würde man denken, dass das etwas ist, was Firma A getan hat...

Das spiegelt auch den aktuellen Hype-Wahn in der KI-Szene wider.

Originaltext: https://honnibal.dev/blog/astra-read-write-misleading

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto QbitAI, Autor: Jay, veröffentlicht mit Genehmigung von 36Kr.