Das Team von Tang Jie an der Tsinghua-Universität enthüllt das vollständige Panorama des Gedächtnisses großer Modelle

In den letzten Jahren sind die Durchbrüche bei großen Sprachmodellen (LLMs) zu einem großen Teil auf die Scaling Laws (Parameter, Daten, Rechenleistung) zurückzuführen.

Gleichwohl wird im Zuge der Modellentwicklung eine ebenso wichtige Dimension immer entscheidender – das Gedächtnis (Memory).

Vom KV-Cache, der bei der Berechnung in Transformern anfällt, über die implizite Zustandskomprimierung linearer RNN/SSM bis hin zu den kürzlich populären expliziten, persistierbaren Gedächtnismodulen wie Titans, TTT (Test-Time Training) und Engram durchläuft die zugrundeliegende Gedächtnismechanik großer Modelle einen tiefgreifenden Paradigmenwechsel.

Auf diesem Gebiet hat das Team von Professor TANG Jie der Tsinghua-Universität, die Nationaluniversität von Singapur (NUS) und Bosch AI gemeinsam eine umfassende Übersicht über die Spitzenforschung zur Gedächtnisarchitektur großer Modelle veröffentlicht. Der Artikel stellt erstmals eine dreidimensionale Taxonomie des Gedächtnisses (Representation, Update Dynamics, Persistence) vor und vereinheitlicht die verstreuten Spitzenarbeiten in einem kohärenten theoretischen Rahmen, der die Richtung für das Design der nächsten Generation effizienterer, langfristig lernfähiger LLMs weist.

Hier ist besonders klarzustellen, dass das in diesem Artikel erörterte „Gedächtnis“ sich speziell auf das innere Gedächtnis auf Architekturebene (Architectural-level Memory) bezieht – also die Darstellung, Komprimierung und Zustandsaktualisierung historischer Informationen durch das Modell auf der untersten Ebene des Netzes; nicht das derzeit ebenfalls populäre Gedächtnis auf Agent-Ebene, das über externe Agent-Frameworks (wie angegliederte Dialogprotokolle, lokale Dateisuchmaschinen usw.) realisiert wird.

Hintergrund: Paradigmenwechsel beim Gedächtnis großer Modelle

Im traditionellen Sinne ist das innere „Gedächtnis“ von LLMs häufig implizit und existiert als Nebenprodukt der Berechnung. Der Selbstaufmerksamkeitsmechanismus des Transformers bietet ein inhaltsbasiertes kurzfristiges Arbeitsgedächtnis (KV Cache), dessen Berechnungs- und Speicheraufwand jedoch mit der Länge der Sequenz quadratisch ansteigt und stark durch die Größe des Kontextfensters begrenzt wird.

Aktuelle Forschungstrends zeigen, dass es nicht mehr ausreicht, das Kontextfenster einfach zu „verlängern“. Um dem Modell die Fähigkeit zum dauerhaften Lernen über mehrere Sitzungen hinweg zu verleihen, beginnen Forschende, explizite, unabhängig adressierbare und persistierbare Gedächtnismechanismen einzuführen (z. B. Parametermodule, die während der Inferenz aktualisiert werden können).

Wie die Autoren im Artikel feststellen: Das Gedächtnis steigt von einem bloßen Nebenprodukt der Berechnung zur ersten grundlegenden Dimension des Architekturdesigns großer Modelle auf.

△

Kernrahmen: Die dreidimensionale „Taxonomie“ des LLM-Gedächtnisses

Angesichts der riesigen und fragmentierten Architekturinnovationen (wie Aufmerksamkeitscaches, rekurrente Zustände, adaptive Anpassungen zur Testzeit, Suchmodule, bedingtes Parameter-Routing usw.) stellt diese Übersicht einen einheitlichen dreidimensionalen Klassifizierungsrahmen auf Architekturebene vor, um die Grenzen und Gemeinsamkeiten verschiedener Gedächtnismechanismen zu klären:

△

Darstellungsform (Representation): Implizit vs. Explizit

Implizites Gedächtnis (Implicit): Es ist tief an die Vorwärtsberechnung des Modells gebunden und verfügt über keine unabhängige Steuerschnittstelle (z. B. der KV-Cache des Aufmerksamkeitsmechanismus, der verborgene Zustand von RNN/SSM).

Explizites Gedächtnis (Explicit): Es verfügt über unabhängige Speicherkomponenten und klare Lese-Schreib-Semantik und ist nicht auf den standardmäßigen Vorwärtsberechnungsablauf beschränkt (z. B. externes Datastore, zur Testzeit aktualisierbare Parameter, Gedächtnisslots usw.).

Aktualisierungsmechanismus (Update Dynamics): Offline vs. Online

Offline: Es wird nur in der Trainingsphase über Gradienten aktualisiert (z. B. vortrainierte Parameter, herkömmliches MoE).

Online: Es unterstützt die dynamische Aktualisierung während der Inferenz und verleiht dem Modell die Fähigkeit, neues Wissen aufzunehmen, ohne dass es neu feinabgestimmt werden muss (z. B. die überraschungsgesteuerte Aktualisierung von Titans, TTT).

Persistenz (Persistence): Kurzfristig vs. Langfristig

Kurzfristig (Short-Term): Es löst sich mit dem Ende des lokalen Kontextfensters oder der Inferenzsitzung auf (z. B. Attention).

Langfristig (Long-Term): Die Information oder ihre Wirkung kann über den lokalen Kontext hinaus und sogar über unabhängige Sitzungen hinweg fortbestehen.

△

Tiefgehende Analyse: Designphilosophie impliziter und expliziter Architekturen

Unter der einheitlichen Taxonomie zerlegen die Autoren ausgehend von der Darstellungsform die beiden derzeit wichtigsten Lager technisch detailliert:

Implizites Gedächtnis: Der „Durchreisende“ im Berechnungsstrom (Implicit Memory)

Obwohl implizites Gedächtnis extrem effizient ist, ist es im Wesentlichen ein „berechnungsgebundener momentaner Zustand“.

Aufmerksamkeitsmechanismus: Als punktuelles, inhaltsadressierbares momentanes Arbeitsgedächtnis mildert es zwar durch Sparse Attention oder gleitende Fenster (wie StreamingLLM) den Berechnungsaufwand, seine Kapazität ist jedoch weiterhin auf kurzfristigen Speicher beschränkt.

Rekurrentes Sequenzgedächtnis (Recurrent Memory): Es umfasst SSM-Architekturen wie Mamba sowie lineare Aufmerksamkeitsmodelle wie RWKV und Gated DeltaNet. Sie komprimieren historische Informationen zu strukturierten verborgenen Zuständen (Hidden States). Aktuelle Entwicklungsrichtungen (z. B. Kimi Delta Attention) erweitern die einfache skalare Dämpfung sogar zu einer kanalebene dynamischen Zustandsbearbeitung.

Engpässe und Grenzen: Die Kapazität des impliziten Gedächtnisses ist durch die Dimension der verborgenen Schicht und das Fenster hart begrenzt, und es fehlt ihm in der Regel an unabhängig steuerbarer Lese-Schreib-Semantik.

△

Explizites Gedächtnis: Das unabhängig adressierbare „Außengehirn“ (Explicit Memory)

Dies ist derzeit der heißeste Forschungsschwerpunkt der Spitzenforschung, der darauf abzielt, LLMs eine längere Lebensdauer und Anpassungsfähigkeit zu verleihen:

Parametrische Gedächtnismodule: Wie bei Titans und TTT-E2E wird das Gedächtnis in bestimmten Parameterblöcken verfestigt und während der Inferenz (Test-Time) häufig aktualisiert. Dieses Design, das die „Kontextspeicherung“ vom „allgemeinen Wissensrumpf“ entkoppelt, mildert das langfristige katastrophale Vergessen erheblich.

Suchbasiertes Gedächtnis (Lookup-based): Wie bei Engram und kNN-LM werden Informationen in nicht parametrischen Slots oder Datenbanken gespeichert und während der Inferenz über spärliches Routing abgerufen. Diese Vorgehensweise erweitert die Kapazitätsobergrenze des Modells erheblich und befreit es von hohem Berechnungsaufwand.

Bedingtes Parametergedächtnis (MoE): MoE-Architekturen wie Mixtral sind im Wesentlichen ebenfalls eine Variante des expliziten Gedächtnisses – durch den Router erfolgt eine kontextabhängige Suchadressierung im Parameterraum.

△

Auf dem Weg zur Fusion: Hybride Architekturen (Hybrid) und systemweite Herausforderungen

Wie bereits gezeigt wurde, kann kein einzelnes Gedächtnisparadigma alle Probleme lösen: Attention hat eine hohe Rückrufrate, verbraucht aber extrem viel Grafikspeicher; SSM ist recheneffizient, kann aber feingranulare Informationen verlieren; parametrisches Gedächtnis ist hochgradig anpassungsfähig, steht aber vor dem Problem des Optimierungsdrifts.

Daher werden hybride Gedächtnisarchitekturen (Hybrid Memory Architectures) zum Mainstream.

Einige bekanntere große Modelle haben diesen Ansatz bereits übernommen: Beispielsweise verwendet Kimi Linear Kimi Delta Attention (KDA) und Multi-head Latent Attention (MLA) im Verhältnis von etwa 3:1 abwechselnd, Qwen3-Next mischt Gated DeltaNet und volle Aufmerksamkeitsschichten in einem ähnlichen Verhältnis; Modelle wie Jamba und Samba repräsentieren die frühere schichtweise Kombination aus Attention und SSM. Diese Entwürfe belegen die Komplementarität verschiedener Gedächtnispfade, aber ihr Verteilungsverhältnis ist in der Regel noch durch die Architektur fest vorgegeben.

Ein fortschrittlicherer Ansatz ist das adaptive Gedächtnis-Routing: Beispielsweise entscheidet AMOR anhand der Unsicherheit des Modells, wann die kostenaufwändige Attention-Verfeinerung aktiviert wird; HAM nutzt den Vorhersagefehler, um zu beurteilen, welche Tokens in den hochgenauen spärlichen KV-Cache aufgenommen werden sollen, während die übrigen Informationen von rekurrenten Zuständen mit hoher Kompressionsrate verarbeitet werden.

Die Fusion verschiedener Gedächtnisarten bedeutet jedoch nicht ein einfaches Überlagern von Modulen. In diesem Bereich stehen noch mehrere zentrale Herausforderungen an:

Was geschrieben wird und wann geschrieben wird: Überraschungsgrad, Entropie oder Vorhersagefehler können den langfristigen Wert von Informationen nicht unbedingt genau messen; Tokens, die derzeit unwichtig erscheinen, können lange Zeit später entscheidend werden.

Gleichgewicht zwischen Stabilität und Plastizität: Die Aktualisierung von Parametern zur Testzeit kann neue Informationen schnell aufnehmen, kann aber auch zu Gedächtnisdrift, Störungen durch altes Wissen und Fehlerakkumulation führen. Für eine zuverlässige Schreiboperation, Vergessen und bei Bedarf Rollback fehlt es noch an ausgereiften Lösungen.

Kapazität, Genauigkeit und Systemkosten: Hochgenaue KV-Speicherung verbraucht fortwährend Grafikspeicher und Bandbreite, während rekurrente Zustände fester Größe historische Informationen möglicherweise übermäßig komprimieren. PagedAttention, KV-Cache-Quantisierung und Speicherintegration müssen gemeinsam mit der Modellstruktur entworfen werden.

Wie man „gutes Erinnern“ wirklich misst: Eine lange Kontextlänge ist nicht gleichbedeutend mit wirksamem Gedächtnis. Neben Langzeittests wie RULER und LongBench müssen zukünftige Bewertungen zwischen Rückruf und Schlussfolgerung unterscheiden und Persistenz, Störfestigkeit, Konsistenz von Aktualisierungen sowie Recheneffizienz messen.

Schlussfolgerung und Ausblick auf zukünftige Richtungen (Future Directions)

Die Forschung zur Gedächtnisarchitektur findet immer größere Beachtung. Am Ende des Artikels schlägt das Forschungsteam mehrere anregende Richtungen für zukünftige Arbeiten vor:

Einheitliche Theorie des Gedächtnisses: Ein theoretischer Rahmen soll geschaffen werden, der Attention, SSM und Suchmechanismen aus einer einheitlichen Perspektive von Informationskompression und Zustandsumwandlung quantifizieren kann.

Lebenslanges parametrisches Gedächtnis (Lifelong Parametric Memory): Die kurzfristige Anpassungsfähigkeit von TTT soll überwunden werden, damit das Modell langfristig stabiles inkrementelles Lernen ohne vollständige Feinabstimmung realisieren kann.

Adaptive Gedächtniszuweisung: Statische Architekturentwürfe sollen aufgegeben werden, und erlernbare Controller werden eingeführt, um das Speichermedium (Cache oder State) und die Persistenzebene der Informationen dynamisch zu bestimmen.

Gemeinsames Design von Algorithmus und Hardware: Wenn sich der Kontext auf Millionen von Tokens erstreckt, müssen Lese- und Schreibvorgänge des Gedächtnisses tief mit der GPU-Speicherhierarchie zusammenwirken.

Vom „passiven Vergessen“ zur „aktiven Kontrolle“: