Der eigentliche Grund, warum es so schwierig ist, Unternehmens-AI-Agenten zu implementieren, liegt nicht in der Künstlichen Intelligenz.

Die Demonstration lässt den AI-Agenten scheinbar mühelos wirken. Doch der echte Schmerz beginnt erst nach der Demonstration, wenn der AI-Agent, der Arbeitsablauf, das Legacy-System und die Evaluierung ins Spiel kommen. 

Warum ist das jetzt wichtig?

Intelligente Assistenten sind überall zu finden. Die populären Medien sind voller Demonstrationsvideos. Anbieter versprechen "Automatische Assistentenfahrweise", sodass Sie Ihren gesamten Abteilungsbetrieb verwalten können, während Sie einen Latte trinken. Und ehrlich gesagt, sind diese Prototypen recht gut. 

Aber wenn Sie jemals versucht haben, von der Präsentation zur tatsächlichen Produktion zu gelangen, wissen Sie: Künstliche Intelligenz ist nicht der schwierigste Teil. Die Modelle verbessern sich rasant, und das Aufrufen von APIs ist auch keine Raketentechnik. Die wirklichen Hindernisse kommen aus der älteren, komplexeren und tiefgreifenderen menschlichen Natur. 

Wenn Unternehmen bei Agenten auf Hindernisse stoßen, geraten sie in die folgenden Dilemmata: 

Überall sieht man AI-Agenten (das sollte nicht die Aufgabe der KI sein).

Definieren, was automatisiert werden sollte (der Arbeitsablauf ist klar).

Integration in bestehende Systeme (Legacy-Systeme und APIs).

Beweisen, dass es zuverlässig funktioniert (Evaluierung und Überwachung).

Lassen Sie uns das analysieren. 

Was ist wirklich schwierig?

Architektur, Framework, Speicher, Multimodalität und Echtzeitfähigkeit sind wichtig. Alles ist wichtig! Aber im Vergleich zu den drei großen Problemen sind dies lösbare Ingenieursprobleme. 

Das Durcheinander entsteht aus der Koordination von Menschen, Prozessen und alter Infrastruktur. Dies ist der entscheidende Faktor für den Erfolg oder Misserfolg von Unternehmensprojekten. 

Hindernis #1 — Überall Agenten (das, was man nicht tun sollte)

Zunächst einmal sollte man es laut sagen: Sie müssen nicht überall Agentensysteme einsetzen. Tatsächlich können viele Unternehmensprobleme besser mit einfachereren und stabileren Methoden gelöst werden: 

klassischer Code — Wenn der Prozess wiederholt und klar definiert ist, läuft ein Skript oder ein Dienst schneller, kostengünstiger und zuverlässiger als ein Agent.

Traditionelles maschinelles Lernen — Wenn es um die Vorhersage von strukturierten Daten geht, sind Regression oder Klassifikatoren in der Regel besser als Inferenzschleifen.

Graphische Benutzeroberfläche und Workflow-Engine — Manchmal ist es wirklich um Klarheit und Benutzerfreundlichkeit zu tun; Das Abbilden von Prozessen in der UI kann mehr bewirken als nur die Autonomie zu erhöhen.

Einfacher LLM-Aufruf — In vielen Fällen können einige sorgfältig formulierte API-Aufrufe alle erforderlichen "Intelligenz" bieten, ohne dass es eines Orchestrierungsaufwands bedarf.

Agenten eignen sich am besten für komplexe, mehrstufige, dynamische Arbeitsabläufe, da Flexibilität von entscheidender Bedeutung ist. Für alle anderen Fälle kann die Wahl des richtigen Tools für die Aufgabe zusätzliche Kosten, Schwächen und Integrationsprobleme vermeiden. 

Hindernis #2 — Arbeitsablaufdefinition (Inhalt)

Die Wahrheit ist: Unternehmen haben selten klare Arbeitsabläufe. 

Die Prozesse existieren nur im Kopf der Menschen. Ausnahmen häufen sich ständig. Die Einhaltung von Vorschriften führt zu versteckten Schritten. Wenn Sie fragen: "Was sollte der Kundendienstmitarbeiter eigentlich behandeln?", befinden Sie sich bereits in endlosen Meetings, veralteten Vorschriften und Nebenerklärungen wie "Oh, aber bei Kunde X machen wir es anders". 

Deshalb ist die Modernisierung des Arbeitsablaufs von oberster Priorität: 

Sitzen Sie mit dem Unternehmen zusammen, zeichnen Sie den Arbeitsablaufplan und beschreiben Sie jeden Schritt im Detail, wer ihn ausführt und wie manuell er ist.

Klären Sie was automatisiert werden kann, wie dies automatisiert werden kann, nicht alles muss Agentisch sein, was weiterhin menschlich bleibt und wie diese miteinander verbunden sind.

Protokollieren Sie die chaotische Realität, zeigen Sie den Arbeitsablauf und verifizieren Sie ihn.

Ohne diese Vorarbeiten werden Ihre Agenten: 

Das Falsche automatisieren.

Die Hälfte der Dinge automatisieren und dann stehen bleiben.

Oder von denen, die sie eigentlich helfen sollen, stillschweigend ignoriert werden.

Hindernis #3 — Integration in bestehende Systeme (Methode)

Sobald Sie wissen, was Sie automatisieren möchten, stehen Sie vor dem dritten Hindernis: Die Integration in die bereits existierenden Systeme. 

Es ist noch schlimmer: Die meisten Systeme wurden überhaupt nicht für Agenten konzipiert. Viele Systeme wurden sogar nicht einmal für APIs konzipiert.

Traditionelles ERP, das anfällige Verbindungen erfordert.

CRM- oder Ticket-Systeme mit halb dokumentierten Endpunkten.

Interne Anwendungen, die vor zehn Jahren mit einem Framework geschrieben wurden und seitdem nicht mehr berührt wurden.

Authentifizierungsschemata, rollenbasierter Zugang, Compliance-Beschränkungen.

Die Arbeitsabläufe der Backend-Systeme sind so komplex, dass Sie drei Tage brauchen, um zu verstehen, wofür sie gut sind.

Die Integration ist nicht nur "Anbindung an eine API". Sie betrifft auch jahrzehntelange technische Schulden, Eigentumsinseln und anfällige Abhängigkeiten.

Das ist der Grund, warum ein Demonstrationsagent, der in einem brandneuen Anwendungsstapel reibungslos funktioniert, in der realen Welt plötzlich zusammenbricht. Er muss mit Systemen kommunizieren, die über Jahre hinweg mit Patches und Anpassungen versehen wurden. 

In der Unternehmensrealität bedeutet Integration: 

Finden Sie die Arbeitsabläufe der Legacy-Systeme und wie sie verwendet werden.

Lassen Sie Systemexperten uns helfen (sie haben keine Zeit!)

Konvertieren Sie zwischen alten und neuen Datenformaten.

Behandeln Sie Rate-Limits und Zuverlässigkeitsprobleme.

Verhandeln Sie den Zugang mit dem IT-/Sicherheitsteam (manchmal der schwierigste Teil).

Solange Sie dieses Hindernis nicht überwinden, bleiben die Agenten stehen und verbleiben in der Prototypenschleife. 

Hindernis #4 — Evaluierung (Beweis)

Selbst wenn Sie den Arbeitsablauf festgelegt und die Integration erfolgreich abgeschlossen haben, treffen Sie auf das vierte Problem: Wie wissen Sie, dass es funktioniert?

Die Evaluierung von Agenten ist berüchtigt schwierig: 

Aufgabenorientierte Metriken: Hat der Agent den Arbeitsablauf wie definiert abgeschlossen? Wie hoch ist die Abschlussrate? Wie hoch ist die Fehlalarmrate?

Agentenorientierte Metriken: Hat der Agent den Arbeitsablauf befolgt und den richtigen Plan erstellt? Haben wir alle Fehler im Prozess erfasst und an Menschen weitergeleitet?

Unternehmensmetriken: Hat es Zeit gespart, Kosten gesenkt oder die Genauigkeit verbessert?

Sicherheitsmetriken: Hat es Halluzinationen, Richtlinienverstöße, Compliance-Verletzungen vermieden und im Wesentlichen nichts getan, was wir nicht möchten?

Die üblichen Tricks des maschinellen Lernens, die Genauigkeit auf Benchmark-Datensätzen zu verbessern, lösen das Problem nicht. Jedes Unternehmen hat einzigartige Anforderungen. 

Hier sind die praktischen Muster: 

Evaluierungsdatensatz: Sorgfältig ausgewählte Eingaben sowie erwartete Agentenplanung und Ausgabe.

Echte Agentenevaluierung: Bewerten Sie nicht nur das Ergebnis, sondern auch den Agentenplan und die Autorisierung.

Schattenmodus: Der Agent läuft zusammen mit Menschen, bevor er die volle Kontrolle übernimmt.

Ständige Überwachung: Verfolgen Sie die Drift, Leistung und Regression über einen bestimmten Zeitraum.

Ohne strenge Evaluierung wirken die Agenten zwar in der Demonstration wunderbar, scheitern aber stillschweigend in der Produktion, oder noch schlimmer, sie zerstören unbemerkt etwas Wichtiges. 

Schlussfolgerung — Warum scheitern AI-Agenten in Unternehmen?

Machen wir eine Rückschau. 

Der schwierigste Teil bei Unternehmensagenten ist nicht die Künstliche Intelligenz selbst, sondern: 

Agentenphantome (das, was man nicht tun sollte): Agenten überall dort sehen, wo es nicht nötig ist.

Klarheit (was): Definieren Sie die geschäftlichen Arbeitsabläufe und modernisieren Sie sie, wo nötig.

Integration (Methode): Anbindung an Legacy-Systeme, anfällige APIs und jahrzehntelange technische Schulden.

Evaluierung (Beweis): Bewerten Sie die Agenten ständig, um Vertrauen aufzubauen.

Ignorieren Sie dies, und Ihre "Automatische Assistentenfahrweise" bleibt in der Hölle der Prototypen gefangen. Umarmen Sie dies, und Sie können die Künstliche Intelligenz von einer glänzenden Demonstration zu einem unternehmensweiten Asset machen. 

Was ist die Lehre daraus? Betrachten Sie die Einführung von Agenten nicht als KI-Projekt, sondern als Projekt zur Modernisierung von Arbeitsabläufen und Integration, bei dem die Evaluierung bereits von Anfang an integriert ist.

Dieser Artikel stammt aus dem WeChat-Account "Data-Driven Intelligence" (ID: Data_0101), Autor: Xiaoxiao, veröffentlicht von 36Kr mit Genehmigung.