Karpathy sagt, es wird noch zehn Jahre dauern, aber dieser Weg ist bereits voller Menschen.

Kürzlich haben wir über zahlreiche Startups und Forschungsergebnisse berichtet, die auf das Gebiet des „Kontinuierlichen Lernens“ abzielen, wie beispielsweise „Mind Lab veröffentlicht nacheinander die neuesten Fortschritte von LoRA: Ein neues Paradigma für das „Kontinuierliche Lernen“ großer Modelle zeichnet sich ab“, „Verabschieden Sie sich von den Fesseln des KV-Cache, komprimieren Sie den langen Kontext in die Gewichte – besteht Hoffnung für Modelle mit kontinuierlichem Lernen?“, „ICML 2026 | Durchbruch der Grenzen! Die Universität Hongkong schlägt die erste Architektur für kontinuierliches Lernen vor, die für mehr als 300 Aufgaben geeignet ist und das Problem des Vergessens löst“, „Harness, das DeepSeek zur Selbstentwicklung befähigt! Der Autor von LlamaFactory veröffentlicht ein neues Open-Source-Tool: Automatische Erstellung von Agenten für 0,2 Yuan“, „Wenn das „Größerwerden“ nicht mehr der einzige Weg ist, wird ein weiteres in China entwickeltes Modell als Open-Source-Version veröffentlicht“…

Ja, das ist ziemlich dicht gedrängt, und „Kontinuierliches Lernen“ wird auch zu einem der Schlüsselwörter, denen wir am häufigsten begegnen. Dahinter verbirgt sich auch eine wiederholt vorgebrachte Beurteilung.

Im Oktober 2025 sagte Andrej Karpathy in dem Podcast von Dwarkesh Patel: Die aktuellen großen Modelle „haben kein kontinuierliches Lernen. Man kann ihnen nicht etwas sagen und erwarten, dass sie es sich merken“. Seiner Meinung nach wird es noch etwa zehn Jahre dauern, bis diese kognitiven Mängel behoben sind. Zwei Monate später fügte er diese Aussage in einem größeren Kontext in seinem Jahresrückblick ein: Die Sprünge der Modellfähigkeiten im Jahr 2025 stammen hauptsächlich aus dem durch überprüfbare Belohnungen verstärkten Lernen (RLVR), aber im gesamten Technologie-Stack von großen Sprachmodellen sind Gedächtnis, multimodale Wahrnehmung, kontinuierliches Lernen und die Fähigkeit, Computer zu bedienen, noch offensichtliche Schwachstellen. „Wir haben Prototypen, aber noch keine Agenten, die als Kollegen eingesetzt werden können“.

Das Kontinuierliche Lernen (Continual Learning, auch Lebenslanges Lernen / Lifelong Learning) ist damit eines der heißesten Konzepte des vergangenen Jahres geworden.

Es bedeutet, dass ein Modell nach der Bereitstellung wie ein Mensch kontinuierlich aus neuen Aufgaben, neuem Wissen und neuen Erfahrungen lernen kann, ohne das zuvor Gelernte zu vergessen.

Das klingt selbstverständlich, ist aber extrem schwierig umzusetzen – so schwierig, dass es zum größten Hindernis auf dem Weg zum „KI-Kollegen“ geworden ist. Die oben genannte Reihe von Berichten zeigt auch, dass dieser Weg nicht mehr nur eine Richtung ist, sondern mehrere verzweigte Routen, die gleichzeitig voranschreiten.

Auf die Frage, wie man Modelle dazu bringt, „beim Nutzen zu lernen“, haben sich in der Wissenschaft und Industrie in diesem Jahr mehrere voneinander verschiedene technische Richtungen herausgebildet. Einige hängen ein Gedächtnis außerhalb des Modells an, andere überschreiben die Gewichte kontinuierlich, wieder andere führen das Pre-Training von Grund auf neu durch, und eine Reihe neuerer Ideen versucht, den Begriff des „Lernens“ selbst neu zu definieren. Dieser Artikel versucht, diese Richtungen nacheinander vorzustellen und klar zu machen, worauf jede Route setzt und wo ihre Probleme liegen.

Zuerst klären: Das Schwierige ist nicht das „Lernen“, sondern das „Nicht-Vergessen“

Das zentrale Hindernis für das kontinuierliche Lernen hat einen speziellen Namen: katastrophales Vergessen (catastrophic forgetting). Das Wissen neuronaler Netze ist in Milliarden von Gewichten gespeichert. Wenn man das Modell mit neuen Daten feinabstimmt und diese Gewichte aktualisiert, überdeckt das Modell beim Erlernen neuer Aufgaben oft die Parameter, die die alten Fähigkeiten tragen, was zu einem starken Leistungsabfall bei den Aufgaben führt, in denen es zuvor gut war.

Schematische Darstellung des katastrophalen Vergessens. Wenn ein künstliches tiefes neuronales Netz nacheinander auf zwei Aufgaben trainiert wird, vergisst es die erste Aufgabe schnell und vollständig, wenn es die zweite Aufgabe trainiert.

Dieses Phänomen wurde bereits im Zeitalter kleiner Modelle umfassend erforscht, aber bei großen Sprachmodellen treten neue Probleme auf. Der Benchmark TRACE, der speziell das kontinuierliche Lernen von großen Sprachmodellen bewertet, hat festgestellt, dass das kontinuierliche Feinabstimmen eines bereits ausgerichteten Modells nicht nur dazu führt, dass es alte Aufgaben vergisst, sondern auch die allgemeinen Fähigkeiten und die Fähigkeit, Anweisungen zu befolgen, beeinträchtigt. Mit anderen Worten: Wenn Sie dem Modell eine neue Sache beibringen wollen, kann der Preis sein, dass es insgesamt dümmer wird und nicht mehr gehorcht.

Gerade weil das direkte Ändern der Gewichte so große Risiken birgt, hat sich das „kontinuierliche Lernen“ in mehrere Strömungen aufgeteilt. Ihre grundsätzlichen Unterschiede liegen in unterschiedlichen Entscheidungen bei den beiden Fragen: „Sollen die Gewichte geändert werden?“ und „Wo wird neues Wissen gespeichert?“.

Das Gedächtnis außerhalb des Modells speichern

Der direkteste und am schnellsten umsetzbare Ansatz lautet: Die Modellgewichte werden gar nicht verändert, das neue Wissen wird in einer Datenbank außerhalb des Modells gespeichert und bei Bedarf in den Kontext abgerufen. Diese Richtung hat sich aus RAG (Retrieval-Augmented Generation) entwickelt und ist inzwischen zu einem eigenen Bereich geworden: Agentengedächtnis (Agent Memory).

Ein repräsentatives Werk ist MemGPT (das dahinterstehende Unternehmen heißt jetzt Letta). Es vergleicht die Kontextverwaltung von großen Sprachmodellen mit der Speicherverwaltung eines Betriebssystems, unterscheidet zwischen einem begrenzten „Arbeitskontext“ und einem größeren „externen Speicher“ und lässt das Modell wie ein Betriebssystem, das den Speicher verwaltet, selbst entscheiden, was in den Kontext geladen und was zurück in das Archiv geschrieben werden soll.

Im Rahmen dieses Ansatzes gibt es eine Reihe von Systemen mit unterschiedlichen Schwerpunkten: Mem0 konzentriert sich auf die speichernde und skalierbare Speicherung von Langzeitgedächtnis auf Produktionsebene; Zep ergänzt die Abfrage um ein zeitliches Wissensgraphen, um zeitliche Schlussfolgerungen über verschiedene Sitzungen hinweg zu verarbeiten; A-MEM lehnt sich an die Zettelkasten-Methode an, versieht jede Erinnerung mit strukturierten Tags und verknüpft sie automatisch mit relevanten alten Einträgen, damit die Abfrage besser zum Kontext passt.

Karpathy selbst setzt auf diese Richtung. Er betont wiederholt, dass in Zukunft kein Gedächtnis im Stil einer „größeren Festplatte“ benötigt wird, sondern ein kompakter „kognitiver Kern“ (cognitive core – er schätzt, dass ein oder zwei Milliarden Parameter dafür ausreichen) zusammen mit einem strukturierten externen Gedächtnis, das sich selbst exponentiell erweitert.

Auf dieser Grundlage hat er auf GitHub ein Muster namens „LLM Wiki“ veröffentlicht: Anstatt bei jeder Abfrage RAG zu verwenden, um die ursprünglichen Textblöcke abzurufen, soll der Agent die Informationen aktiv zu einem kontinuierlich aktualisierten, miteinander verknüpften Wissensbestand zusammenstellen, der danach abgefragt wird.

Das Dokument von Karpathys LLM Wiki hat bereits fast 45.000 Sterne erhalten und wurde mehr als 9.000 Mal geforkt

Letta selbst hat dieses Konzept zu der These des „kontinuierlichen Lernens im Token-Raum“ erhoben. Sie weisen darauf hin, dass die heute übliche Vorgehensweise „zuerst anhängen, dann zusammenfassen“ lautet: Die ursprünglichen Erfahrungen werden so lange angehäuft, bis der Kontext überläuft, und dann zu einer Zusammenfassung komprimiert. Das hat zwei Nachteile: Das Anhängen verlagert alle Darstellungsarbeiten auf die Inferenzzeit, und jede Vorwärtspropagation muss die ursprünglichen Protokolle erneut verarbeiten; die Zusammenfassung ist verlustbehaftet und abrupt, wichtige Details verschwinden ohne Vorwarnung. Letta setzt darauf, dass das im Token-Raum gelernte Gedächtnis in Zukunft wertvoller sein wird als die Modellgewichte selbst.

Die Vorteile dieser Richtung liegen in Sicherheit, Kontrollierbarkeit und Erklärbarkeit – fehlerhafte Inhalte können jederzeit gelöscht werden. Der Nachteil besteht darin, dass das Wissen im Wesentlichen nicht wirklich in das Modell „internalisiert“ wird. Es muss jedes Mal über die enge Schnittstelle aus Abfrage und Kontext abgerufen werden. Wenn die Gedächtnisdatenbank wächst, werden Abfragegenauigkeit und Kosten zu Engpässen.

Den Kontext selbst zu einem „Leitfaden“ entwickeln lassen

Ein Schritt weiter als das externe Gedächtnis geht ein eleganterer Ansatz: Die Gewichte werden nicht verändert, aber der Kontext, der als Eingabe für das Modell dient, entwickelt sich kontinuierlich weiter. Dies wird als Kontext-Engineering (Context Engineering) bezeichnet.

Im Oktober 2025 schlugen Stanford, SambaNova und UC Berkeley ACE (Agentic Context Engineering) als Vertreter dieses Ansatzes vor. Es behandelt den Kontext als einen stetig wachsenden „Leitfaden“ (playbook), der von drei Rollen gewartet wird: Der Generator erstellt Inferenzverläufe, der Reflektor gewinnt konkrete Erfahrungen aus Erfolgen und Misserfolgen, und der Kurator fasst diese Erfahrungen zu strukturierten inkrementellen Aktualisierungen zusammen und fügt sie in den Leitfaden ein.

ACE soll zwei häufige Probleme ähnlicher Methoden lösen. Zum einen die „Kurzheitspräferenz“ (brevity bias): Wenn große Sprachmodelle den Kontext wiederholt neu schreiben, neigen sie dazu, ihn zu komprimieren und Details aus dem Fachgebiet zu verlieren. Zum anderen der „Kontextkollaps“ (context collapse): Durch wiederholtes Umschreiben gehen Details nach und nach verloren.

ACE vermeidet diese beiden Probleme durch inkrementelle kleine Änderungen (delta updates) anstelle des vollständigen Umschreibens ganzer Abschnitte. Laut den Daten der Arbeit verbessert ACE die Leistung bei Agentenaufgaben im Vergleich zur Basislinie um 10,6 % und bei Finanzschlussfolgerungen um 8,6 %, während die Anpassungsverzögerung um etwa 86,9 % reduziert wird. Auf der AppWorld-Bestenliste erreicht das kleinere Open-Source-Modell DeepSeek-V3.1 in Kombination mit ACE eine durchschnittliche Punktzahl, die mit dem produktiven Agenten IBM CUGA auf Basis von GPT-4.1 mithalten kann.

Bemerkenswert ist, dass ACE betont, ohne überwachte Annotationen auskommen zu können. Es nutzt die natürlichen Feedbacksignale während der Ausführung (z. B. ob der Code erfolgreich ausgeführt wurde oder einen Fehler aufweist), um Reflexion und Zusammenfassung zu leiten. Das verbindet es mit dem größeren Narrativ, dass Agenten aus ihren eigenen Erfahrungen lernen.

Kontinuierliches Nachtraining: Gewichte ändern, aber intelligent

Externes Gedächtnis und Kontext-Engineering vermeiden das Risiko von Gewichtsänderungen, vermeiden aber auch die echte Internalisierung von Wissen. Eine andere Forschergruppe ist der Meinung, dass langfristig manche Wissensinhalte und Fähigkeiten letztendlich in die Parameter geschrieben werden müssen, um nutzbar zu sein. Das ist das kontinuierliche Nachtraining (Continual Post-training), das hauptsächlich in Phasen wie kontinuierliche Feinabstimmung von Anweisungen und kontinuierliche Ausrichtung an Präferenzen unterteilt wird.

John Schulman von Thinking Machines hat eine hierarchische Sichtweise vorgelegt: Er vergleicht das Lernen mit motorischem Lernen, episodischem Gedächtnis und prozeduralem Gedächtnis aus der Psychologie. Seiner Meinung nach wird das Kontextlernen kurze Lernaufgaben weiterhin gut bewältigen, während die Parameter-Feinabstimmung (einschließlich Methoden wie LoRA) darauf aufbaut – sie eignet sich besonders für Aufgaben, die eine große Kapazität erfordern und bei denen Wissen wirklich aufgenommen werden muss. Wenn die Zeitspanne so lang ist, dass das Kontextlernen nicht mehr ausreicht, ist die Parameter-Feinabstimmung im Vorteil.

Der größte Feind dieser Richtung ist nach wie vor das katastrophale Vergessen, und eine interessante Lösung stammt kürzlich von Tinker aus dem Hause Thinking Machines.

Tinker ist das erste Produkt, das im Oktober 2025 veröffentlicht wurde: Eine auf LoRA basierende API zur Feinabstimmung, die die Komplexität des verteilten Trainings abstrahiert und nur niedrigstufige Primitive wie forward_backward und optim_step zur Verfügung stellt, damit sich die Forscher auf Daten und Algorithmen konzentrieren können.

Für das kontinuierliche Lernen propagieren sie ein Verfahren namens Self-Distilled Fine-Tuning (SDFT): Die zentrale Erkenntnis ist, dass die gewöhnliche überwachte Feinabstimmung „off-policy“ ist – das Modell wird gezwungen, Tokens nachzuahmen, die es selbst niemals generieren würde, sodass jedes neu gelernte Können die alten Fähigkeiten beeinträchtigt. SDFT lässt das Modell als sein eigener Lehrer fungieren, sodass es neue Fähigkeiten aus Demonstrationen lernen kann, ohne die alten zu vergessen. Ein Startup namens Trajectory nutzt Tinker bereits als zentrale Infrastruktur für seine Plattform zum kontinuierlichen Lernen.