Das Massachusetts Institute of Technology (MIT) hat entdeckt, dass das Geheimnis, wie man KI intelligent macht, genau dasselbe wie das bei Menschen ist.
Haben Sie bemerkt, dass, wenn Sie einem KI-System eine lange Textdatei zum Lesen geben, es mitten im Lesen manchmal die vorherigen Inhalte vergisst? Oder wenn Sie es bitten, ein überlanges Dokument zu verarbeiten, gibt es Antworten, die überhaupt nicht zum Thema passen? In der Wissenschaft gibt es einen speziellen Begriff für dieses Phänomen: Kontextkorruption. Dies ist auch ein generelles Problem heutiger KI-Systeme: Die Gedächtnisleistung großer Modelle ist zu schlecht. Je länger der Text, desto dümmer wird das Modell!
Am letzten Tag des Jahres 2025 hat das Massachusetts Institute of Technology (MIT) eine bahnbrechende Studie veröffentlicht, die genau dieses Problem angeht.
Der Titel dieser Studie lautet "Recursive Language Models", also rekursive Sprachmodelle.
Das klingt sehr akademisch, aber in einfachen Worten ausgedrückt: Lassen Sie die KI einfach noch einmal probieren, und die Ergebnisse werden sich sprunghaft verbessern.
Link zur Studie: https://arxiv.org/pdf/2512.24601
Hier sind zwei zentrale Zahlen im Voraus:
Bei komplexen Inferenztasks kann die Genauigkeit um 10 % - 25 % steigen, wenn man das Modell nur 2 - 4 Mal erneut an die Aufgabe herangehen lässt.
Beim Umgang mit überlangen Dokumenten zeigt das RLM (rekursives Sprachmodell) auch bei einer Größe von über 10 Millionen Tokens eine stabile Leistung, während traditionelle Modelle völlig versagen!
Was bedeutet das?
Bisher dachten wir, dass, wenn eine KI nicht schlau genug ist, wir einfach die Anzahl der Parameter erhöhen, mehr Grafikkarten hinzufügen oder mehr GPUs kaufen müssen.
Die Studie von MIT macht einen Radikalkurswechsel: Stellen Sie aufhören Sie auf, die Anzahl der Parameter zu erhöhen. Lassen Sie die KI einfach noch einmal probieren, und die Ergebnisse könnten besser sein. (Wir sind quasi die "Aufseher" der KI.)
Es scheint, dass die Lösung des Problems so einfach ist!
Darüber hinaus haben viele Experten auf X ihre Zustimmung geäußert.
Von einem frustrierenden Problem ausgehend
Haben Sie jemals diese Erfahrung gemacht:
Sie bitten ChatGPT, einen Artikel zu schreiben. Es schreibt stolz 3.000 Wörter, aber wenn Sie es lesen, stellen Sie fest, dass es überhaupt nicht auf den Punkt zielt.
Oder Sie bitten es, Code zu schreiben. Nachdem es fertig ist, starten Sie den Code, und es gibt nur Fehler.
Aber hier ist das Interessante: Wenn Sie es bitten, den Text zu überprüfen oder noch einmal nachzudenken, kann es manchmal die Fehler korrigieren.
Die Forscher von MIT haben festgestellt, dass dies kein Zufall ist, sondern einem Muster folgt.
Die meisten Fehler, die KI-Systeme machen, liegen nicht daran, dass sie nicht verstehen, sondern daran, dass sie das erste Mal zu schnell vorgehen.
Genau wie beim Schreiben einer Thesis ist der erste Entwurf immer schlecht. Aber wenn Sie ihn drei oder vier Mal überarbeiten, ist er wie von einem anderen Autor geschrieben.
Das Gleiche gilt für KI-Systeme.
Das Problem ist: Die meisten großen Modelle arbeiten im "Ein-Mal-Durchgangs"-Modus. Sie geben eine Frage ein, und das Modell gibt eine Antwort aus, und dann ist es vorbei.
Das Modell überprüft sich nicht selbst, wiederholt keine Überlegungen und lässt sich nicht auffordern, die Aufgabe erneut zu bearbeiten.
Oder betrachten Sie die ursprüngliche Arbeitsweise großer Modelle mal so:
Stellen Sie sich vor, Sie sind ein Praktikant in einem Unternehmen. Ihr Chef gibt Ihnen ein 500-seitiges Dokument und bittet Sie, einen Bericht zu erstellen.
Was würden Sie tun?
Ein normaler Mensch würde das Dokument zuerst überfliegen, die wichtigen Abschnitte finden, dann Abschnitt für Abschnitt lesen, nach jedem Abschnitt eine Zusammenfassung erstellen und schließlich alle Zusammenfassungen zusammenfügen.
Stimmt's?
Aber große Modelle arbeiten nicht so.
Große Modelle lesen das 500-seitige Dokument von Anfang bis Ende auf einmal und versuchen dann, auf die Fragen aus dem Gedächtnis zu antworten.
Es wäre ein Wunder, wenn sie etwas davon behielten.
Das ist die Herausforderung, vor der große Modelle stehen.
Es ist nicht, dass sie nicht schlau sind, sondern dass sie sich einfach nicht erinnern können.
Was die Studie von MIT macht, ist, der KI die Fähigkeit zu geben, die Aufgabe erneut zu bearbeiten.
Der echte Engpass von KI: Nicht das fehlende "Gehirnvolumen", sondern das schlechte Gedächtnis
Bevor ich auf die Lösung von MIT eingehe, muss ich Ihnen erklären, warum dieses Thema so wichtig ist.
Vielleicht haben Sie das Wort "Kontextfenster" schon gehört.
Was bedeutet das?
Sie können sich ein großes KI-Modell als einen Genie vorstellen, aber diesem Genie fehlt eine wichtige Eigenschaft: Seine Arbeitsfläche ist zu klein.
Sie geben ihm ein überlanges Dokument und bitten ihn, es zu analysieren. Aber er kann nur einen kleinen Teil des Dokuments auf seine Arbeitsfläche legen und anschauen.
Was über die Größe der Arbeitsfläche hinausgeht? Er kann es nicht sehen und ignoriert es einfach.
Das derzeit beste GPT-5 kann auf seiner Arbeitsfläche 270.000 Tokens (ungefähr 200.000 chinesische Zeichen) platzieren.
Klingt beeindruckend, oder?
Aber hier kommt das Problem.
Selbst innerhalb dieser 270.000 Tokens verschlechtert sich die Leistung des Modells drastisch, je länger die Eingabe wird.
Wenn Sie es mit 8.000 Tokens füttern, funktioniert es super.
Mit 80.000 Tokens beginnt es, verwirrt zu werden.
Mit 270.000 Tokens beginnt es einfach nur noch Unsinn zu erzählen.
Warum?
Weil es zu viel Informationen zu verarbeiten hat und es durcheinanderkommt.
Es ist wie wenn Sie einer Person sagen, sie soll ein ganzes Lexikon auswendig lernen und dann auf Fragen antworten - sie hat es zwar gelernt, aber kann die Informationen nicht finden.
Das ist die aktuelle Herausforderung für große Modelle: Es ist nicht, dass das Kontextfenster nicht lang genug ist, sondern dass es auch dann nicht gut genutzt werden kann, wenn es lang ist.
Die geniale Idee von MIT: Das Dokument in der Schublade aufbewahren
Okay, das Problem ist erklärt. Jetzt schauen wir uns die Lösung von MIT an.
Die herkömmliche Methode besteht darin, das Dokument direkt in das "Gehirn" der KI zu schieben.
Die Methode von MIT lautet: Stellen Sie es nicht hinein, sondern legen Sie es in die Schublade.
Sie haben etwas namens RLM erfunden.
Der Kerngedanke des RLM lautet: Lassen Sie die KI nicht direkt das überlange Dokument lesen, sondern geben Sie ihr Code, um das Dokument zu durchsuchen.
Nehmen wir ein Beispiel.
Ehemals war die KI wie ein Schüler, dem Sie ein ganzes Lehrbuch vor die Nase halten und sagen: "Lies es und beantworte meine Fragen."
Der Schüler: "?? Ich kann es nicht alles lesen. Darf ich nur einen Teil lesen?"
Dann liest er gezwungenermaßen den Anfangsteil und gibt den Rest auf.
Die Arbeitsweise des RLM ist anders.
Es ist eher wie wenn man dem Schüler ein Inhaltsverzeichnis und eine Suchmaschine gibt.
Das Dokument ist immer noch dasselbe, aber der Schüler muss es nicht von Anfang bis Ende lesen. Er kann zuerst das Inhaltsverzeichnis überfliegen, um die Struktur zu verstehen, und dann nach relevanten Abschnitten suchen und die nützlichen Informationen herausfiltern.
Was noch besser ist: Der Schüler kann ein komplexes Problem in mehrere kleine Probleme aufteilen und - hier kommt der Wichtige Teil - er kann seine eigenen "Kopien" rufen, um die kleinen Probleme gleichzeitig zu lösen und am Ende die Antworten zusammenzufassen.
Das ist der Sinn von Rekursion: Die KI kann sich selbst aufrufen, um sich selbst zu helfen.
Oder noch einfacher ausgedrückt:
Es behandelt das überlange Dokument als eine externe Datenbank und schiebt es nicht direkt in sein "Gehirn".
Dann kann das Modell Code schreiben, um diese Datenbank zu durchsuchen.
Benötigt es den Inhalt des ersten Kapitels? Schreibt es einen Code, um es zu suchen.
Benötigt es den Inhalt des zehnten Kapitels? Schreibt es einen anderen Code, um es zu suchen.
Benötigt es einen Vergleich zwischen dem ersten und dem zehnten Kapitel?
Dann sucht es zuerst das erste Kapitel, erstellt eine Zusammenfassung, sucht dann das zehnte Kapitel, erstellt eine weitere Zusammenfassung und fügt schließlich beide Zusammenfassungen zusammen.
Das ist wie ein externer Datenträger mit unbegrenzter Kapazität.
Es macht nichts, wenn das Modell nicht alles in seinem "Gehirn" speichern kann.
Es kann jederzeit in den Datenträger schauen und die benötigten Informationen abrufen.
Theoretisch kann das Modell auf diese Weise unendlich lange Dokumente verarbeiten.
Wie wird das konkret umgesetzt?
Die Umsetzung von MIT ist ziemlich elegant.
Sie haben der KI eine Python-Programmierumgebung (REPL) gegeben und das überlange Dokument als Variable gespeichert.
Dann liest die KI das Dokument nicht mehr direkt, sondern arbeitet mit Code darauf.
Beispielsweise:
Möchte man wissen, wie lang das Dokument ist? Man schreibt einfach den Code len(input_text).
Möchte man die ersten 1.000 Zeichen des Dokuments sehen? Man schreibt input_text[:1000].
Möchte man ein Schlüsselwort im Dokument suchen? Man schreibt einen regulären Ausdruck.
Was noch besser ist: Die KI kann das Dokument in Abschnitte aufteilen, jeden Abschnitt einem "Unter-KI-System" zuweisen und dann die Ergebnisse zusammenfassen.
Dieses "Unter-KI-System" nutzt eigentlich dasselbe Modell, aber es ruft sich selbst rekursiv auf.
Dieses Design hat zwei große Vorteile:
Erstens: Die KI muss sich das überlange Dokument nicht mehr in ihrem "Gehirn" merken.
Das Dokument liegt einfach in der Schublade, und wenn es benötigt wird, kann man es mit Code abrufen.
Das bedeutet, dass theoretisch das Dokument unendlich lang sein kann - solange die Schublade groß genug ist.
Zweitens: Die KI kann selbst entscheiden, was sie anschauen und was nicht.
Sie liest nicht dumm von Anfang bis Ende, sondern sucht klug nach den wichtigen Teilen.
Dies spart erheblich an Rechenleistung und erhöht die Genauigkeit.
Wie stark ist die Verbesserung?
MIT hat in der Studie eine Reihe von Experimenten durchgeführt, und die Ergebnisse sind ziemlich beeindruckend.
Experiment 1: Verständnis von überlangen Dokumenten
Sie haben viele Testdatensätze verwendet, darunter einen namens OOLONG. Dieser Test erfordert, dass die KI ein überlanges Dokument versteht und Fragen beantwortet, die eine Analyse des gesamten Dokuments erfordern.
