Karpathy hat wieder einmal alle übertroffen, RAG überboten und macht deine Notizen zu deinem zweiten Gehirn

Sammlung bedeutet nicht Besitz, Hervorhebung bedeutet nicht Verständnis.

Die tiefgründigen Artikel, die dich um zwei Uhr morgens aufwallen lassen, die dichten bidirektionalen Links in Obsidian und die sorgfältig formatierten Datenbanken in Notion sind alle die „cybernetischen Mumien“ in den Notizsoftware.

Das Wissenstraumwerk scheint zwar spektakulär, ist aber in Wirklichkeit schon verrottet.

Dies ist ein systemischer Ausfall in der ganzen Ära der Informationsüberflutung.

Karpathy, der gegenwärtige Ingenieur bei Anthropic, der ehemalige Mitbegründer von OpenAI und der ehemalige Leiter der KI bei Tesla, hat genug davon und warf eine Bombe.

Link: https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

Er hat kein neues Modell angekündigt und kein neues Framework veröffentlicht. Er hat nur gesagt: Betrachte deine Notizen als unveränderlichen Quellcode und lasse die LLM als Compiler fungieren.

Nach zwei Monaten hat dieses Dokument in den Obsidian-, Claude- und Cursor-Communities eine stille, aber heftige Migration ausgelöst.

Einige haben ihre Wikis bereits auf über hundert Seiten und mehrere hunderttausend Wörter erweitert.

Automatisierungs-Plugins beginnen aufzutauchen. Akademische Forscher, unabhängige Unternehmer und lebenslange Lernende wenden sich kollektiv einer völlig neuen Wissensproduktionsbeziehung zu.

Der Sonnenuntergang von RAG: Das Verschieben von Informationen rettet nicht dein Denken

Vor der Entstehung von LLM-WIKI war die vorherrschende Lösung RAG (Retrieval Augmented Generation).

Einfach ausgedrückt, bekommt das große Modell einen „Suchexperten“ zugewiesen: Wenn du eine Frage stellst, sucht er in deinen Notizen nach einigen Abschnitten und setzt dann eine Antwort zusammen.

Das klingt schön, aber wer es benutzt hat, weiß von der Kluft zwischen „Angebotsbild“ und „Tatsache“.

Es ist nur ein Transporter: RAG kann nur lokale Informationen verarbeiten und versteht nicht das Ganze.

Es kann dir sagen, dass in der 5. Notiz A erwähnt wird, aber es kann dir nicht sagen, welchem zugrunde liegenden Logik alle 500 Notizen folgen.

Es hat „Persönlichkeitsstörungen“: Wenn du vor sechs Monaten dachtest, dass A richtig ist, aber gestern in einer Notiz A widerlegt hast, gerät RAG oft in Selbstwidersprüche und spuckt eine Menge logisch durcheinander geworfener Unsinnigkeiten aus.

Das Wissenstraumwerk verrottet: Manuell gepflegte Wissenslinks sind wie Code ohne automatische Bereinigung. Mit der Zeit gibt es überall abgeschnittene Links, und die Suchleistung sinkt exponentiell.

Karpathys Intuition ist sehr scharf: Suchen und Finden sind Zeichen menschlicher Ohnmacht. Wir brauchen „Konsens“, „Struktur“ und „Wahrheit“.

Betrachte Wissen als Quellcode und lasse die LLM als Compiler fungieren

Karpathys Antwort stammt von einer Handlung, die ein Programmierer täglich macht, aber nie auf Wissen angewendet hat: Kompilieren.

Wenn du einen Quellcode geschrieben hast, liest du ihn nicht jedes Mal, wenn du das Programm ausführst, erneut.

Du kompilierst ihn in eine Binärdatei. Das Kompilieren ist die erste Mal aufwändig, aber danach läuft das Programm jedes Mal schnell. Die Kosten des Kompilierens werden durch die Tausende von Malen der Verwendung aufgewogen.

Warum kann man das nicht auch mit Wissen machen?

Karpathy sagt, betrachte deine Originalnotizen als unveränderlichen Quellcode und die LLM als Compiler, und lass es diese durcheinander geworfenen Materialien auf einmal in ein strukturiertes, miteinander verknüpftes Wiki „kompilieren“.

Bei jedem neuen Material führt die KI eine Fusion durch: Sie aktualisiert die relevanten Eintragungsseiten, überarbeitet die Zusammenfassungen, markiert die Stellen, an denen neue Daten mit alten Schlussfolgerungen kollidieren, und stärkt oder hinterfragt die bestehenden Urteile.

Der entscheidende Unterschied liegt hier: Das Wissen wird einmal kompiliert und dann dauerhaft frisch gehalten, anstatt jedes Mal bei einer Abfrage neu aufgebaut zu werden.

Wenn du eine Frage stellst, sind die Kreuzreferenzen schon da, die Widersprüche sind schon markiert, und die Zusammenfassung spiegelt alles wider, was du gelesen hast.

Du kompilierst den Quellcode nicht jedes Mal neu, wenn du ein Programm ausführst. Warum soll die KI dann jedes Mal, wenn du eine Frage stellst, deine Notizen erneut lesen?

Die grundlegende Umstellung der kognitiven Produktionsbeziehung

In seinem LLM-WIKI-Framework sind die Notizen nicht mehr tote Texte, sondern „Quellcode“ .

Das große Modell ist nicht mehr ein Übersetzer, der im Wörterbuch sucht, sondern ein „Compiler“.

Dieses Framework löst auf äußerst raffinierte Weise drei Ebenen voneinander:

1. Raw-Ebene (Rohmaterial): Dies ist der ursprüngliche Rohstoff deiner Inspiration. Die Eindrücke, die du spontan notierst, die Artikel, die du auswählst, und die Protokolle von Meetings. Es ist „unveränderlich“ und behält die Originalität und Unreinheit der menschlichen Eingabe.

2. Schema-Ebene (Wissensverfassung): Dies ist das „Militärgesetz“, das du für die KI schreibst. Beispielsweise legst du fest, dass jeder Personen-Eintrag „Motivation, Einschränkungen, Schlüsselerfolge“ enthalten muss; jeder Technologie-Stack muss „Vorteile und Nachteile“ aufzeigen.

3. Wiki-Ebene (kompilierte Fertigprodukt): Dies ist der Bereich, der vollständig von der KI verwaltet wird. Sie kompiliert das durcheinander geworfene Raw-Material gemäß deinem Schema in strukturierte, miteinander verknüpfte, logisch kohärente Enzyklopädieseiten.

Im Alltag gibt es nur drei Aktionen:

1. Ingest (Aufnahme): Gib ein neues Material ein. Die KI liest es, geht die wichtigsten Punkte mit dir durch, schreibt eine Zusammenfassung und aktualisiert die relevanten Seiten im gesamten Archiv – ein einzelnes Material kann möglicherweise ein Dutzend Seiten beeinflussen.

2. Query (Abfrage): Stelle direkt eine Frage an das kompilierte Wiki, und es gibt eine Antwort mit Referenzen. Das Beste daran ist: Eine gute Antwort kann direkt in eine neue Seite zurückgeführt werden, und jede deiner Erkundungen wird sich auch kumulativ auswirken.

3. Lint (Prüfung): Lasse die KI regelmäßig eine Selbstprüfung wie bei einer Code-Review durchführen – suche nach Widersprüchen, veralteten Behauptungen, isolierten Seiten ohne Verlinkungen und Lücken, die aufgefüllt werden müssen. Reinige es frühzeitig, damit das Archiv nicht immer verderblicher wird.

Du bist nicht mehr ein Transporter von Wissen, sondern der Architekt dieses Intelligenzreichs.

Du bist nur für die Eingabe und die endgültige Überprüfung verantwortlich, während die KI alle „Nebentätigkeiten“ übernimmt: Sortieren, Abgleichen, Kreuzverlinken und Widerspruchsermittlung.

Dies ist eine grundlegende Umstellung der kognitiven Produktionsbeziehung.

Dies ist kein anderer Chatbot. ChatGPT kennt das Internet, LLM-Wiki kennt dich – genauer gesagt, die Dinge, die du ihm beigebracht hast.

Jede Antwort führt über [wiki-links] zurück zu deinem Wissenstraumwerk. Jede Antwort ist der Anfang eines Erkundungspfads, nicht das Ende.

Eine um 80 Jahre verspätete Erfindung

An diesem Punkt könntest du denken, dass dies nur ein intelligenter Arbeitsablauf ist?

Es ist mehr.

Am Ende seines Gists hat Karpathy leichthin einen Namen erwähnt: Vannevar Bush und seinen Artikel „As We May Think“ aus dem Jahr 1945.

Im Jahr 1945, kurz nach dem Ende des Zweiten Weltkriegs, hat dieser US-amerikanische Wissenschaftler einen Maschinen namens „Memex“ erfunden:

Ein mechanischer Schreibtisch, der alle deine Bücher, Aufzeichnungen und Korrespondenzen speichern kann und „Assoziationspfade“ zwischen den relevanten Einträgen herstellt – die Verbindungen zwischen den Dokumenten sind genauso wertvoll wie die Dokumente selbst.

Klingt das bekannt? Dies ist fast eine wörtliche Beschreibung von LLM-Wiki.

Bushs Vision ist tatsächlich näher an diesem Ding als das spätere World Wide Web: Ein privates, persönlich gestaltetes Wissensnetzwerk, bei dem die Verbindungen den Wert ausmachen.

Warum wurde das Memex in 80 Jahren nicht gebaut?

Weil Bush an einem Problem festgeklemmt war, das er nicht lösen konnte – Wer soll es pflegen?

Jeder Assoziationspfad muss manuell erstellt werden. Jede Kreuzreferenz muss von jemandem verbunden werden.

Bush hat sich vorgestellt, dass es spezielle „Operatoren“ geben würde, die für dich Pfade im Wissen anlegen.

Aber in der Realität kann niemand diese langweilige Arbeit auf große Skala durchhalten. Die Menschen geben die Pflege auf, weil die Kosten der Pflege immer schneller steigen als der Wert, den sie bringt.

Karpathys Satz ist der Kern des gesamten Paradigmas: Der mühsamste Teil bei der Pflege einer Wissensbasis ist nie das Lesen, sondern das Buchhalten.

Das Aktualisieren von Kreuzreferenzen, das Frischhalten von Zusammenfassungen, das Markieren von Konflikten zwischen neuen Daten und alten Schlussfolgerungen und das Aufrechterhalten der Konsistenz zwischen mehreren Dutzend Seiten. Diese Langweiligkeit ist für jeden abschreckend.

Das große Modell vergisst nicht, eine Kreuzreferenz zu aktualisieren und kann auf einmal 15 Dateien ändern.

Es wird nicht müde. Es wird nicht nervös. Es wird nicht von der Nacht überwältigt. Die Pflegekosten werden fast auf Null reduziert.

Plötzlich funktioniert also die Maschine, die die Menschen 80 Jahre lang blockiert hat.

Es wird die menschliche Aufmerksamkeit befreit

Rückblickend ist LLM-Wiki das dritte Puzzlestück von Karpathy in Bezug auf die „Menschen-KI-Kollaboration“ und auch das zurückhaltendste.

Das erste Puzzlestück, Vibe Coding (Februar 2025): Akzeptiere den von der KI geschriebenen Code, prüfe ihn nicht Zeile für Zeile, vertraue dem Modell und teste das Ergebnis.

Das zweite Puzzlestück, Agentic Engineering (Januar 2026): Lasse die KI-Agenten von Menschen orchestrieren, anstatt selbst Code zu schreiben.

Das dritte Puzzlestück, LLM Knowledge Bases (April 2026): Die KI verwaltet nicht nur Code, sondern auch das Wissen selbst.