Meta hat die größte "Bombe" auf dem Weg des kontinuierlichen Lernens von KI entfernt, und "Fine-Tuning" hat wieder Macht gewonnen.
Seit Richard Sutton in seinem Aufsatz "The Age of Experience" die fehlende echte kontinuierliche Lern- und Metalernefähigkeit von Large Language Models (LLMs) kritisiert hat, hat die gesamte LLM-Branche kürzlich vermehrt Versuche unternommen, diese Grenze zu überwinden.
In der Vergangenheit gab es in der Branche nicht wenige Versuche, "selbstevolvierende Modelle" zu entwickeln. Diese Versuche stimmen in der Logik mit dem Ziel der kontinuierlichen Lernfähigkeit überein, nämlich dass das Modell sich schrittweise selbst verbessern und stärker werden sollte. Erst kürzlich sind jedoch die Wege, um dieses Ziel zu erreichen, zunehmend deutlicher geworden.
01
Drei Wege zur kontinuierlichen Lernfähigkeit
Dies ist möglich, weil die kontinuierliche Lernfähigkeit von Mainstream-Modellen im Wesentlichen mit der "Gedächtnistiefe" und der Plastizität des Modells zusammenhängt. Nur wenn ein Modell in der Lage ist, stetig neue Erinnerungen hinzuzufügen oder zu aktualisieren, kann es möglicherweise kontinuierlich neue Dinge lernen.
Daher gibt es so viele Wege zur kontinuierlichen Lernfähigkeit, wie es Methoden gibt, Erinnerungen zu ändern oder hinzuzufügen.
Betrachtet man die aktuelle LLM-Branche, lassen sich die Methoden, mit denen man das Modellgedächtnis ändern kann, grob in drei Wege zusammenfassen.
Der erste Weg besteht darin, den "Kontext" (Context) zu ändern, d. h. das "Arbeitsgedächtnis" des Modells zu modifizieren.
Die entsprechende Lernmethode wird als "In-Context Learning" (ICL) bezeichnet. Indem man dem Modell im Prompt neue Informationen, Beispiele oder Anweisungen gibt, kann das Modell in der aktuellen Konversation lernen, bestimmte Probleme zu lösen.
Der neueste Fortschritt auf diesem Weg ist das Konzept des "System Prompt Learning", das kürzlich von Andrej Karpathy stark vorangetrieben wurde.
Das Kernkonzept besteht darin, dass das Modell durch "sprachliche Zusammenfassung und Induktion" seiner eigenen Problemlösungsverhalten reflektiert, Erfolge und Misserfolge analysiert und dann seine System-Prompts ständig aktualisiert, um so seine Fähigkeit zur Lösung ähnlicher Probleme in Zukunft zu verbessern.
Diese Methode löst in gewissem Maße das Problem, dass ICL oft als oberflächlich kritisiert wird, indem sie die untersten Verhaltensanweisungen des Modells beeinflusst und so die Lernerfolge festigt.
Der zweite Weg besteht darin, eine "externe Gedächtnisbank" einzuführen, d. h. RAG.
Hierbei wird dem Modell eine externe Datenbank zugewiesen, auf die es bei Bedarf zugreifen und vergleichen kann. Die kontinuierliche Lernfähigkeit zeigt sich darin, dass das Modell in der Lage ist, diese externe Gedächtnisbank zu ändern, zu erweitern und zu pflegen.
Die neueste Erforschung auf diesem Gebiet ist die Studie "Reasoningbank" von Google DeepMind. Anstatt dem KI-Agenten eine fragmentierte "Tatsachengedächtnisbank" zu geben, wird eine "geistige Gedächtnisbank" geschaffen. In dieser Bank werden nicht einfache Tatsachen wie "10 + 10 = 20" gespeichert, sondern "Methoden" und "Fehlervermeidungsrichtlinien", die das Modell aus erfolgreichen und erfolglosen Erfahrungen gewonnen hat.
Beide Wege, ob es sich um die Reflexion über eigene Prompts oder die Pflege externer Methoden handelt, stellen eine "Metalerne" -Wende vom traditionellen kontinuierlichen Lernmodell dar.
In den jüngsten Produktivierungsversuchen ist die Claude Skill-Funktion von Anthropic ein Versuch, diese beiden Methoden (insbesondere die erste) zu kombinieren, um den Agenten zu ermöglichen, neue Fähigkeiten durch das Zusammenfassen von Erfahrungen zu "lernen".
Allerdings hat der dritte Weg, nämlich die kontinuierliche Lernfähigkeit auf der "Parameterebene", bisher keine großen Fortschritte gemacht.
Die derzeitigen Methoden, die direkt die Modellparameter ändern können, sind entweder wie die Verstärkungslernmethode (RL) mit hohen Trainingskosten und komplexen Prozessen verbunden und können daher nicht regelmäßig nach der Modellbereitstellung zur Erwerbung neuer Kenntnisse eingesetzt werden, oder wie die leichte überwachte Feinabstimmung (SFT) wie LoRA äußerst instabil.
Daraus resultiert, dass der grundlegendste Weg der Parameteraktualisierung seit langem in einer schwierigen Situation steckt.
Eine neue Studie von Meta AI mit dem Titel "Continual Learning via Sparse Memory Finetuning" könnte jedoch diesem seit langem stillgelegten dritten Weg einen grundlegenden Wandel bringen.
02
Die "Achillesferse" der überwachten Feinabstimmung SFT heilen
Die überwachte Feinabstimmung (SFT) steht immer vor einem grundlegenden Widerspruch: Sie ist das direkteste Mittel, um dem Modell spezielle Fähigkeiten zu verleihen, aber aufgrund der schwer zu überwindenden Probleme des "katastrophalen Vergessens" und der Stabilität wird sie zum Engpass bei der Verbesserung der Modellfähigkeiten.
Das katastrophale Vergessen bedeutet konkret, dass das Modell beim Aktualisieren der Parameter seine ursprünglichen Kenntnisse vergisst.
Nehmen wir LoRA (Low - Rank Adaptation, eine Methode zur effizienten Feinabstimmung großer vortrainierter Modelle) als Beispiel. Aufgrund seiner geringen Kosten und der Notwendigkeit, nur wenige Parameter anzupassen, wird es als vielversprechendste Methode für die kontinuierliche Lernfähigkeit angesehen. In der praktischen Anwendung kann jedoch bereits nach wenigen tausend Feinabstimmungsschritten das Modell neue Fähigkeiten erlernen, dabei aber seine ursprünglichen allgemeinen Fähigkeiten stark beeinträchtigen.
Der grundlegende Grund für dieses Phänomen liegt darin, dass die Parameter des Modells von allen Aufgaben geteilt werden. Wenn man Parameter anpasst, um neue Kenntnisse zu erlernen, besteht die Gefahr, dass dieselben Parameter, die alte Kenntnisse speichern, zerstört werden, was zu Vergessen und Leistungseinbußen führt.
Meta's neue Studie zielt darauf ab, dieses hartnäckige Problem zu lösen.
Sie schlägt eine Methode namens Sparse Memory Finetuning vor. Das Kernkonzept ist: Wenn wir nur die Parameter aktualisieren können, die mit "neuen Kenntnissen" verbunden sind und nicht mit "alten Kenntnissen", können wir Störungen vermeiden, oder?
Um dieses Ziel zu erreichen, hat Meta AI eine vollständige technische Schließung entwickelt.
Schritt 1: Architekturmodifikation, Einfügen einer leicht änderbaren Gedächtnisschicht.
Meta verwendet hier ein relativ neues spezielles Modellarchitektur, nämlich Memory Layer Models. Die Forscher ersetzen einige Feed - Forward - Netzwerke (FFN) in einem Standard - Transformer - Modell durch eine Gedächtnisschicht.
Der Unterschied zwischen der Gedächtnisschicht und der Standard - FFN - Schicht ist ähnlich wie der Unterschied zwischen MOE und einem dichten Modell. Wenn ein Problem auftritt, müssen alle Parameter in einer Standard - FFN - Schicht für die Berechnung mobilisiert werden.
Die Gedächtnisschicht ist völlig anders. Sie hat eine Million "Mini - Experten" (Gedächtnisslots). Jeder Experte speichert winzige Kenntnisse. Wenn ein Problem auftritt, erzeugt das Modell eine Abfrage, um die Top - k (z. B. k = 32) am besten passenden Experten aus allen Parametern zu finden. Nur diese 32 Experten werden aktiviert und liefern Informationen. Diese Design ist sehr ähnlich wie eine extreme Form von MOE, aber es gibt Millionen von Mini - Experten anstelle von 8 oder 16 großen Experten in einem traditionellen MOE.
Die Forscher entfernen die 12. FFN - Schicht in einem 22 - Schichten - Standard - Transformer - Modell und ersetzen sie durch eine Gedächtnisschicht.
Der Datenfluss im gesamten Modell bleibt weiterhin linear. Tokens durchlaufen nacheinander jede Schicht des Modells, aber in dieser Gedächtnisschicht ändert sich die Berechnungsmethode von "dicht" zu "spärlich".
Der Grund für diese Modifikation ist, dass die Gedächtnisschicht so viele Gedächtnisslots hat, dass sie eine noch feinere "präzise Kontrolle" als LoRA bietet. Diese Million unabhängig adressierbaren und änderbaren "Kenntnisfächer" (Gedächtnisslots) können direkt zur Modifikation und Hinzufügung von Kenntnissen verwendet werden. Weder die alten dichten Modelle noch MOE können dies leisten.
Schritt 2: Präzise Ortung, Finden der "zu aktualisierenden Fächer" mit TF - IDF.
Nachdem wir eine Architektur mit präziser Kontrolle haben, stellt sich die Frage: Welche "Fächer" sollten wir aktualisieren, wenn neue Kenntnisse kommen?
Die Forscher haben festgestellt, dass selbst wenn man die Methode der Gedächtnisschicht verwendet, die nur wenige Parameter aktualisiert, das katastrophale Vergessen auftreten kann, wenn man alle relevanten Parameter einfach aktualisiert.
Das Schlüsselproblem ist also: Wie können wir die "wichtigen und sicheren" Parameter präzise auswählen? Meta führt den klassischen Algorithmus aus dem Bereich der Information Retrieval ein: TF - IDF, um dieses Problem zu lösen.
Die beiden Werte in diesem Algorithmus sind:
TF (Termfrequenz): Sie zählt, welche der Millionen von Experten (Gedächtnisslots) in der aktuellen Trainingsbatch für "neue Kenntnisse" am häufigsten besucht werden. Je öfter ein Experte besucht wird, desto stärker ist seine Verbindung zu diesen neuen Kenntnissen.
IDF (Inverse Dokumentfrequenz): Sie zählt, welche Experten in einem festen "Hintergrundkorpus" (z. B. Vortrainingsdaten), das allgemeine Kenntnisse repräsentiert, am wenigsten verwendet werden.
Ein hoher TF - IDF - Score eines Gedächtnisslots bedeutet also, dass er für diese neuen Kenntnisse von entscheidender Bedeutung ist (hoher TF) und gleichzeitig fast keine allgemeinen alltäglichen Kenntnisse speichert (hoher IDF).
Durch diesen Algorithmus können die Forscher die am besten geeigneten Parameter in der Gedächtnisschicht finden.
Schritt 3: Spärliche Aktualisierung, nur die "Top - t" Parameter ändern.
Nachdem wir präzise kontrollierbare Parameter und eine Methode zur Findung der besten Parameter haben, kann der Aktualisierungsprozess so präzise und kontrolliert wie ein zielgerichtetes Medikament sein. Bei der Rückwärtsverbreitung zur Aktualisierung der Parameter wird fast alle Parameter eingefroren, und nur der Gradient wird zu den Top - t Gedächtnisslots mit dem höchsten TF - IDF - Score geleitet, um deren Daten zu ändern.
Auf diese Weise kann das Modell mit nur 500 von einer Million Slots die "Eingabe" neuer Kenntnisse abschließen. Im Vergleich zur Million Slots der Gedächtnisschicht und der Millionen von Aktualisierungen bei traditioneller SFT ist diese Zahl nur ein Tropfen im Ozean.
Das Ergebnis ist, dass die "Achillesferse" von SFT im Wesentlichen geheilt ist.
Diese Dreischritt - Methode "Architekturmodifikation + präzise Ortung + spärliche Aktualisierung" zeigt sofortige Ergebnisse. In den wichtigsten Vergleichsexperimenten in der Studie lassen die Forscher das Modell eine neue Tatsache (TriviaQA) lernen und testen dann seine Leistung bei der ursprünglichen Aufgabe (Natural Questions), um zu sehen, wie viel es "vergessen" hat.
Das Ergebnis zeigt, dass mit dieser neuen Methode der Sparse Memory Finetuning der Score bei der ursprünglichen Aufgabe nur um 11 % sinkt, während LoRA einen Einbruch von 71 % verursacht und die vollständige Feinabstimmung sogar einen Einbruch von 89 % verursacht.
Diese neue Methode ist in der Lernfähigkeit mit LoRA und der vollständ