Die Hauptdarstellerin von "Resident Evil" hat sich in die KI-Branche gewagt und erreichte SOTA. Ihr kostenloses "KI-Gedächtnissystem" erregt auf GitHub Aufsehen.
Ich bin ganz wach geworden und habe auf GitHub ein Projekt von der Hauptfigur aus "Resident Evil" entdeckt!
Milla Jovovich, die bekannte Schauspielerin, die Alice spielte, hat kürzlich zusammen mit einem alten Programmiererfreund und Claude ein AI-Gedächtnissystem entwickelt.
Dieses System wurde über mehrere Monate hinweg entwickelt und erreichte bei den Langzeitgedächtnistests LongMemEval mit 96,6% den "öffentlich nachweisbaren besten Wert aller Zeiten".
Außerdem ist es direkt nach der Veröffentlichung Open Source und kostenlos für alle nutzbar (beachten Sie, dass es lokal lauffähig ist).
Natürlich ist das Designkonzept hinter dem Projekt noch interessanter als die Ergebnisse:
Wie sein Codename MemPalace schon sagt, basiert dieses Projekt auf der "Gedächtnispalast-Methode", die von griechischen Rednern häufig verwendet wurde. Es ermöglicht es der KI, das Gedächtnis über "räumliche Positionen" zu organisieren -
Der Palast ist ein großer Raum, der alle Kenntnisse enthält. Verschiedene Kenntnisse werden nach Thema in verschiedenen Räumen aufgeteilt, und in jedem Raum werden konkrete Erinnerungen gespeichert.
Um etwas zu finden, ist es wie beim Gehen durch einen Raum und Öffnen von Türen.
Dank dieser Gedächtnisstruktur ist die Suchleistung von MemPalace im Vergleich zu einer globalen ZufallsSuche um etwa 34% verbessert.
Wichtiger noch: Um das Problem des KI-Gedächtnisses zu lösen, haben sich Menschen bisher darum bemüht, "die KI entscheiden zu lassen, was sich am meisten lohnt zu merken". Das ist jetzt nicht mehr nötig.
Mit MemPalace können alle Gespräche mit der KI gespeichert werden, auch über mehrere Monate hinweg (eine andere Form der Realisierung von "Black Mirror"?)
Noch interessanter ist, dass sie speziell für die KI eine Abkürzungssprache AAAK entwickelt haben.
Mit dem "Gedächtnispalast" steigt die Suchleistung um 34%
Schauen wir uns mehr Informationen über MemPalace an.
Laut der Beschreibung des anderen Autors, Ben Sigman, unterscheidet sich MemPalace von den bereits auf dem Markt befindlichen KI-Gedächtnissystemen in zwei Punkten:
Erstens hat es die besten Ergebnisse, und zweitens arbeitet es völlig anders.
Außer dem besten Wert aller Zeiten in LongMemEval (RAW-Modus) erzielte es auch bei ConvoMem (mit Schwerpunkt auf Kurzzeitgedächtnis) und LoCoMo (mit Schwerpunkt auf sehr langfristiges Gedächtnis über mehrere Monate) jeweils 92,9% und 100%.
Ben hat einige Testresultate veröffentlicht (jeder kann die Tests mit den im Repository zur Verfügung gestellten Skripten durchführen):
Es ist wichtig zu beachten, dass MemPalace keine Benutzerdaten in die Cloud sendet. Alle Gedächtnisverarbeitungen werden lokal durchgeführt.
Dadurch wird das Risiko der Datenschutzverletzung von Grund auf verringert - denn weder die Aufzeichnung und strukturelle Organisation der Gesprächsinhalt noch die anschließende Suche und Verwendung hängen von einem Remote-Server ab.
MemPalace ist nicht nur lokal, sondern verwendet auch die "Gedächtnispalast-Methode", ein menschenähnliches Gedächtnisverfahren.
Im Gegensatz zu den üblichen Vektordatbanklösungen schneidet MemPalace die Gespräche nicht einfach in Stücke, erstellt Embeddings und führt dann eine Ähnlichkeits-Suche durch.
Der Kern besteht darin, das Gedächtnis in eine navigierbare räumliche Struktur zu verwandeln.
Ein "Wing" (Flügel) repräsentiert eine Person oder ein Projekt. Jeder ausgehende Flügel entspricht einem unabhängigen Raum.
In diesem unabhängigen Raum gibt es viele Räume. Jeder Raum repräsentiert ein konkretes Thema (z. B. Authentifizierung, Abrechnung, Deployment usw.). Alle Informationen werden nach Thema in verschiedene Räume eingeordnet.
Die "Halls" (Gänge) verbinden die verschiedenen Räume. Sie definieren hauptsächlich, "zu welcher Kategorie diese Erinnerung gehört" (z. B. Vorschläge, persönliche Präferenzen, Entscheidungen usw.) und fügen den Informationen neben dem Thema verschiedene Attribute hinzu.
Der konkrete Inhalt wird in zwei Ebenen gespeichert:
Die "Drawers" (Schubladen) enthalten die Originalaufzeichnungen. Alle Gespräche werden unverändert und vollständig aufbewahrt.
Die "Closets" (Kleiderschränke) enthalten die komprimierten Zusammenfassungen dieser Inhalte, die für die schnelle Lektüre durch die KI vorgesehen sind.
Wenn in verschiedenen Flügeln die gleichen Räume auftreten, erstellt MemPalace automatisch "Tunnels" (Tunnel), um das gleiche Thema in verschiedenen Personen und Projekten zu verbinden.
Schließlich können alle Inhalte in diesem System im Gedächtnispalast über Pfade gefunden werden.
Hier haben die Autoren zwei Experimente durchgeführt, um zwei Dinge zu überprüfen:
Erstens: Warum kann diese Struktur die Suchleistung um 34% verbessern?
Zweitens: Wie funktioniert der Gedächtnisstapel? (Nicht alle Erinnerungen müssen jedes Mal vollständig geladen werden).
Was die Wirkung der Struktur betrifft, haben die Autoren in über 22.000 echten Gesprächen die Effekte von vier Suchmethoden direkt verglichen:
Globale ZufallsSuche, zunächst Einschränkung auf einen bestimmten Flügel, dann Hinzufügung einer Gang-Ebene, schließlich Präzisierung auf einen Raum.
Es wurde festgestellt, dass jede zusätzliche Strukturebene den Suchraum verkleinert und die semantische Einschränkung verstärkt, sodass das Ergebnis immer besser wird.
Nach Ansicht der Autoren ist die Palaststruktur selbst das Produkt.
Was die Effizienzfragen wie wann und wie viel gesucht werden soll betrifft, haben die Autoren einen Gedächtnisstapel mit zunehmender Wichtigkeit entwickelt.
Die Ebenen L0 + L1 sind "ständige Teilnehmer". Insgesamt etwa 170 Tokens werden bei jedem Gespräch immer geladen, sodass die KI bereits beim "Aufwachen" über die grundlegende Selbstwahrnehmung und den Benutzerkontext verfügt.
L2 und L3 werden bedarfsweise ausgelöst. Die erste Ebene entspricht einer Raum-Level-Suche, die zweite einer globalen Tiefensuche.
Die Gesamtlogik ist, zunächst mit minimalem Aufwand zu verstehen, dann lokal zu ergänzen und erst dann global zu suchen.
Diese Gestaltung hat auch direkte Vorteile. Nicht nur die einzelne Suche ist genauer, sondern auch das Langzeitgedächtnis ist stabiler.
Was das Langzeitgedächtnis betrifft, haben die Autoren MemPalace 6 Monate Gesprächsinhalt mit etwa 19,5 Millionen Tokens gegeben.
Einfach umgerechnet entspricht dies 200 - 400 Büchern oder einer mittelgroßen Codebasis mit 10 - 30 Projekten.
Bei einer so großen Datenmenge ist die herkömmliche Methode nicht zielführend (im Allgemeinen können nicht alle Daten in den Kontext aufgenommen werden).
Bei der Zusammenfassung und Komprimierung kann man normalerweise auf 650.000 Tokens komprimieren. Die jährlichen Kosten betragen etwa 507 US-Dollar (etwa 3.500 Yuan), aber dabei gehen oft Informationen verloren.
Mit MemPalace müssen normalerweise nur etwa 170 Tokens geladen werden, und bei Bedarf werden nur 13.500 Tokens geladen. Die jährlichen Kosten sinken direkt auf 10 US-Dollar, und es werden keine Informationen verloren.
In diesem Sinne ist MemPalace wirklich auf einem anderen Niveau als herkömmliche Gedächtnissysteme.
Die Autoren haben auch zwei Schlüsselpunkte für die genaue Informationsverarbeitung von MemPalace offenbart.
Einer ist die für KI spezifische Sprache "AAAK", die wir am Anfang erwähnt haben - kein zusätzlicher Decoder erforderlich, die gängigen großen Sprachmodelle können sie direkt verstehen.
Da die KI im Wesentlichen im "Token-Lesemodus" arbeitet, kann sie die Informationen besser verstehen, wenn es weniger unnötige Wörter und mehr zentrierte Schlüsselinformationen gibt.
Insbesondere bei der Darstellung vieler wiederholter Entitäten kann AAAK die Anzahl der Tokens deutlich reduzieren.
Die Autoren haben jedoch auch erwähnt, dass die Rückrufrate des AAAK-Modus in LongMemEval 84,2% beträgt, während der RAW-Modus 96,6% erreicht - ein Unterschied von über 12 Prozentpunkten.
Wenn Sie also die Genauigkeit sicherstellen möchten, verwenden Sie lieber den RAW-Modus. Wenn Sie Tokens sparen und einen gewissen Informationsverlust akzeptieren können, können Sie AAAK verwenden.
Der andere Punkt ist die Echtzeit-Korrektur, die durch ein unabhängiges Tool namens fact_checker.py (wird integriert) realisiert wird.
Nach der zukünftigen Veröffentlichung kann MemPalace bei widersprüchlichen Informationen automatisch eine Konsistenzprüfung durchführen, bevor das Ergebnis generiert wird.
Wenn Sie eingeben: Soren hat die Authentifizierungsmigration abgeschlossen. MemPalace gibt aus: Authentifizierungsmigration: Aufgaben-Zuweisungskonflikt - die zugewiesene Person ist Maya, nicht Soren
Wenn MemPalace sowohl das Langzeitgedächtnis als auch die Genauigkeit berücksichtigt, ist es nicht verwunderlich, dass die Autoren den Ruf "das beste aktuelle Gedächtnissystem" aufstellen können.
Übrigens sieht sein Logo wie ein einfacher Palast aus:
Wie installiere und deploye ich es?
Die genauen Installationsschritte und die beiden Nutzungsmodelle sind wie folgt.
Schritt 1: Führen Sie den folgenden Befehl im Terminal aus, um MemPalace über pip zu installieren.
- pip install mempalace
Schritt 2: Initialisieren Sie die Welt und erstellen Sie Ihren eigenen Gedächtnispalast (der folgende Befehl legt ein Hauptverzeichnis fest, in dem alle Ihre Gedächtnisdaten gespeichert werden).
- mempalace init ~/projects/myapp
Schritt 3: Extrahieren Sie Daten und geben Sie Ihre Projektdateien, Chatverläufe usw. an MemPalace, damit es Indizes erstellt.
Je nach Datentyp stehen drei Modi zur Verfügung:
(1) Projekt-Extraktion: Geeignet für Code, Dokumente und Notizen.
- mempalace mine ~/projects/myapp
(2) Chat-Extraktion: Geeignet für Chatverläufe, die aus Claude, ChatGPT, Slack usw. exportiert wurden.
- mempalace mine ~/chats/ —mode convos
(3) Allgemeine Extraktion: Klassifiziert den Inhalt automatisch als Entscheidungen, Meilensteine, Probleme usw.
- mempalace mine ~/chats/ —mode convos —extract general
Nach diesen drei Schritten ist Ihr lokaler Gedächtnispalast aufgebaut. Alle Daten werden lokal gespeichert und nicht in die Cloud hochgeladen.
Jetzt kommt die Frage, wie man es nutzt.