Intelligente Degradierung

In letzter Zeit habe ich eine sehr lustige Nachricht gelesen, die in etwa so aussieht:

Als ich diesen Inhalt gelesen habe, habe ich echt laut gelacht.

Dies bedeutet eigentlich, dass die Leute viel Zeit damit verbracht haben, sogenannte Agenten zu entwickeln, aber dabei nur negativen Wert geschaffen haben.

Warum ist das so?

Der Grund ist sehr einfach.

Menschen aus der alten Produkt- und Forschungsrichtung glauben immer noch, dass man die Leistung von KI in bestimmten Bereichen verbessern kann, indem man ihr Wissen hinzufügt, das die Menschen für nützlich halten (in Form von Prompts, im Wesentlichen Regeln).

Dieses sogenannte “menschliche Wissen” und diese “Kleinstipps” manifestieren sich als Prompts und sind im Kern eine Reihe von Regeln für die KI.

Diese Dinge helfen zwar, die Genauigkeit bei bestimmten Zielen zu verbessern, aber für ein großes Modell ist es eigentlich eine Schädigung, ein Verhalten, das zu einer “Intelligenzdegradierung” führt.

Wo liegt die Stärke eines großen Modells?

Es liegt darin, dass es eine riesige Menge an Daten gelernt hat und intern ein äußerst komplexes Wahrscheinlichkeitsmodell gebildet hat, das die reale Welt simuliert. Es hat eine Art “auftauchende” allgemeine Intelligenz, die wir noch nicht vollständig verstehen.

Die Regeln, die du hinzufügst, sind wie ein Kinderbuch mit Mustern, das einem Maler mit unendlicher Vorstellungskraft aufgezwungen wird, der dann festgelegt bekommt, innerhalb der Linien zu malen und nicht hinauszugehen.

Du denkst, du “optimierst” seine Fähigkeit, Äpfel zu malen, aber tatsächlich verbietest du ihm die Möglichkeit, “Der Sternenhimmel” zu malen.

Wenn du mit Anforderungen konfrontiert bist, die sehr vielfältig, bizar und der realen Welt sehr nahe sind — wie die alltägliche Arbeit eines Anwalts — wird deine “lokale Optimierung” nicht lohnend.

Der Verlust, der durch den Teil der allgemeinen Intelligenz entsteht, den du eingeschränkt hast, ist größer als der Nutzen, den du durch die mühsame Anpassung an einen Teil der Anforderungen erzielst.

Am Ende wird es für die Benutzer zu drei Worten: Unbrauchbar.

Dies ist die “Intelligenzdegradierung”, ein typischer Fallstrick bei der Entwicklung von Agenten.

Was noch schlimmer ist, je schneller das große Modell und Gerüste wie die allgemeine Suche voranschreiten, desto tiefer wird der Fallstrick.

Was tun?

Um diesen großen Abgrund der “Intelligenzdegradierung” zu vermeiden, ist der Kernpunkt einfach:

Versuche nicht mehr, der KI zu beibringen, “wie sie denken soll”, sondern gib ihr “Denkmaterial”.

(Das dahinter liegende Prinzip ist das, das wir schon 2023 als “Intelligenzvorrang” genannt haben.)

Die Menschen müssen zugeben, dass das “Gehirn” der KI (das Basismodell) in der ungebundenen Intelligenz bereits besser ist als das der Menschen. Deshalb sollten sie nicht versuchen, ein schlechtester “Lehrer” zu sein, sondern eher ein “Informationsoffizier”.

Gebe ihr hochwertige, exklusive “Informationen” zur Verfügung, die sie sonst nicht hätte, also Daten und Kontext. Vertraue dann ihrer Intelligenz und lasse sie selbst schließen und urteilen.

Natürlich brauchst du ein relativ komplexes Bewertungssystem, da du besser verstehen musst, was du erreichen willst.

(Dieser Teil ist sehr komplex und wird in diesem Artikel nicht behandelt.)

Wenn man diesen Gedanken verfolgt, ist die Richtung, in der Agenten wertvoll werden können, ziemlich klar:

Richtung 1: Die “exklusiven Kontexte” ausloten

Ein allgemeines großes Modell kennt die öffentliche Welt.

Es weiß nicht, welche Sitzungen in deiner Firma letzte Woche stattfanden, wer euer wichtigster Kunde ist und wie euer herausragendes Produkt entwickelt wurde.

Dies ist dein “exklusiver Kontext”. Dies ist deine einzige und auch stärkste Schutzmauer.

Unsere alte Formulierung war: Die Grenzen der Daten sind die Grenzen der Anwendung.

Der wichtigste Wert eines Agenten besteht darin, die internen, privaten Daten, die in allen Ecken der Firma verteilt sind, sicher und effizient an das große Modell zu liefern.

Einfach ausgedrückt, gib der KI “Zugang zum internen Netz”. Lasse sie alle E-Mails, Chat-Nachrichten, Sitzungsprotokolle, Code-Bibliotheken, Produkt-Dokumentationen und die Daten aus dem CRM-System sehen.

Wenn die KI all dies sehen kann, ist sie nicht mehr ein “Internet-Mundstück”, das nur Unsinn spricht, sondern ein echter “digitaler Mitarbeiter”, der dein Geschäft versteht.

Die Menschen müssen hauptsächlich nicht versuchen, die Intelligenz durch Tricks zu verbessern, sondern müssen sich mit der Digitalisierung auseinandersetzen. Wenn man diesen Aspekt gründlich untersucht, handelt es sich um Fragen der digitalen Kosten und der Produktionsbeziehungen.

Wie auch immer, der menschliche Teil ist der größte Kostenfaktor und die größte Hürde.

Richtung 2: Ein “Toolkit mit hohem Potenzial” anbieten

Es reicht nicht, dass die KI nur sehen kann, sie muss auch handeln können.

Aber dieses “Handeln” soll kein starrer, vorgegebener Ablauf sein.

Stattdessen gib ihr eine Reihe von “Werkzeugen”, wie einem intelligenten Arbeiter ein Werkzeugkoffer mit Hammer, Schraubenschlüssel und Bohrer. Sag ihm dann, dass das Ziel ist, “das Bild an der Wand aufzuhängen”.

Er wird selbst entscheiden, ob er Nägel und Hammer oder Dübel und Bohrer verwenden soll.

Dieses “Werkzeugkoffer” ist in der digitalen Welt eine Reihe von APIs, wie “Bestand prüfen”, “Bestellung aufgeben”, “E-Mail senden”, “Kalendereintrag erstellen” …

Ein guter Agent sollte ein “Haushaltshelfer mit hoher Qualifikation” sein, der das ihm zur Verfügung gestellte Werkzeugkoffer beherrscht und die ihm zugewiesenen Ziele selbstständig erreicht. Er hat ein Gehirn und Hände und Füße.

Richtung 3 ist eigentlich die Selbstoptimierung

Dies ist noch schwieriger und wird in diesem Artikel nicht behandelt.

Die ersten beiden Punkte sind nicht wirklich Probleme im Bereich der KI, sondern haben viel mit alten ERP-Systemen und der Digitalisierung zu tun. Es ist bis zu einem gewissen Grad eine Nachholaktion und eine Integration. Die Inhalte, die Comrade Chen Guo oft erwähnt, sind hier sehr nützlich. Beispielsweise:

Welche Produktform führt zum Erfolg? Schau dir Glean an!

Nach all diesen Erklärungen stellt sich die Frage: Welches Produkt kann den Fallstrick der “Intelligenzdegradierung” vermeiden?

Wir können uns zwei verschiedene Produktformen auf dem Markt anschauen und den Unterschied sofort erkennen.

Die fehlgeschlagene Form: Der 50.000-Dollar-Vertrags-Agent

Dieses Produkt nenne ich einen “Workflow-Agent”.

Das offensichtliche Problem ist die fehlende Flexibilität, die wiederum auf eine unzureichende Integration zurückzuführen ist.

Seine Logik besteht darin, in einer geschlossenen Software einen “Vertragsanalyse-Workflow” vorzugeben und dann die KI an bestimmten Stellen dieses Workflows einzusetzen.

Wenn Menschen häufig mit der KI interagieren, bringt dieser Workflow im Wesentlichen nur Probleme.

Die Probleme können sein:

1. Fehlender Kontext: Es kennt nur den einen Vertrag, den du hochgeladen hast, nicht den Hintergrund des Vertrags, den Verhandlungsprozess (möglicherweise in E-Mails) oder die dazugehörigen historischen Verträge (möglicherweise in einem anderen Ordner). Es ist wie ein Blinder.

2. Starrer Workflow: Es fixiert dich und die KI in einem festen Workflow. Ein Anwalt, der eine andere Frage stellen oder die KI mit anderen Informationen kombinieren möchte, hat keine Chance. Dies ist ein Hochrisikobereich für die “Intelligenzdegradierung”.

3. Isolierter Wert: Sein Wert beschränkt sich auf das einzelne Szenario der “Vertragsanalyse”. Es kann diese Fähigkeit nicht mit anderen Workflows in deiner Firma verbinden.

Die erfolgreiche Form: Ein Produkt wie Glean

Das Wesen von Glean ist ein “Kontextplattform”.

All seine Beiträge dienen dazu, was wir immer wieder betont haben: Eine tiefe Realitätsverstehen zu gewährleisten.

Es gibt keine vordefinierten Workflows. Sein einziges Ziel ist es, alle Dateninseln in einer Firma zu verbinden und die Daten aus allen Systemen wie Slack, Google Drive, Jira, Salesforce … zu integrieren, um ein einheitliches “Unternehmenswissensnetz” oder ein “Unternehmensgehirn” zu schaffen, das von der KI durchsucht und verstanden werden kann.

Die schwierigste Arbeit hier wurde eigentlich nicht erst nach der Entstehung der großen Modelle erledigt.

Das sogenannte “Daten-Middleware” in China war eigentlich sehr ähnlich.

Es ist anzunehmen, dass die meisten Firmen, die an Daten-Middleware arbeiteten, gescheitert sind. Dies zeigt auch die Schwierigkeiten bei der tiefgreifenden Anwendung der KI.

Hier ist ein Bild einer Middleware, das ich zufällig gefunden habe. Ihr könnt es mit der Architektur von Glean vergleichen:

Der Vergleich führt zu einem erschreckenden Schluss: Um einen Agenten zu entwickeln, muss man zuerst die Daten-Middleware richtig machen...

Wenn die Daten-Middleware nicht richtig funktioniert, wird der Agent auch nicht gut funktionieren, zumindest was die Produktionsbeziehungen betrifft.

Glean selbst ist der beste “Informationsoffizier”. Es lehrt die KI nicht, wie sie denken soll, sondern liefert ihr einfach die umfassendsten und genauesten “Informationen”.

Wenn ein Agent auf einer Plattform wie Glean aufgebaut wird, wird er lebendig. Wenn du ihm fragst: “Was waren die Fortschritte und Risiken bei unserem wichtigsten Kunden “ACME Inc.” im letzten Quartal?”

Ein “Isolations-Agent” würde total ratlos sein.

Aber ein auf Glean basierender Agent würde folgendes tun:

1.  Rufe alle Aufzeichnungen von ACME Inc. im CRM-System ab.

2.  Rufe alle E-Mails und Slack-Chats in Bezug auf ACME ab.

3.  Rufe die internen Sitzungsprotokolle und Wochenberichte zum ACME-Projekt ab.

4.  Dann nutzt es die allgemeine Intelligenz des großen Modells, um diese fragmentierten Informationen zu einem sinnvollen, einleuchtenden Ergebnis zusammenzufassen: “Der Fortschritt ist, dass der XX-Vertrag verlängert wurde, aber das Risiko besteht darin, dass der Schlüsselkontakt von ACME in einer E-Mail über die Lieferverzögerung geklagt hat. Die dazugehörigen Diskussionen sind im Slack-Kanal von XX aufgezeichnet.”

Beim gesamten Prozess wird niemand einen starren “Kundenrisikoanalyse-Workflow” vorgeben.

Bei einer Form wie Glean tritt das Problem der “Intelligenzdegradierung” weniger auf.

Weil es nicht “Subtraktion” macht (die KI mit Regeln einschränken), sondern “Multiplikation” (die Sichtweite der KI durch Daten erweitern). Sein Kernwert liegt nicht in einer supertollen Prompt-Entwicklung, sondern in der Schaffung eines starken “Datenpfads”.

Wenn das unterliegende große Modell von GPT-4 auf GPT-5 aktualisiert wird, könnte der 50.000-Dollar-“Isolations-Agent” wertlos werden.

Aber der Wert von Glean würde eher sprunghaft steigen. Denn ein stärkeres Gehirn zusammen mit umfassenderen Daten führt zu einem exponentiellen Anstieg der Intelligenz.

Ich möchte nochmal betonen, dass der obige Inhalt vereinfacht ist und nur zur Veranschaulichung der Richtung dient. Bei der tatsächlichen Entwicklung ist der Umgang mit kumulativen Abweichungen und anderen Dingen sehr komplex und erfordert eine Kombination aus Architektur und Domänenmodell. Ich habe bereits vor über einem Jahr Artikel zu diesem Thema geschrieben.

Zusammenfassung: Intelligenzvorrang und Unternehmen ohne Menschen

Letztendlich handelt es sich hier um eine grundlegende Paradigmenversch， ein Prinzip des “Intelligenzvorrangs (AI First)”.

Die bisherige Denkweise war der “Workflowvorrang”. Wir haben die Workflows entworfen und die KI als Helfer eingesetzt. Dies basiert im Kern auf