Ihr Agent könnte sich auf dem Weg zu einer "fehlerhaften Evolution" befinden. Das Shanghai AI Lab hat gemeinsam mit Spitzeninstitutionen das Risiko der Unkontrollierbarkeit von sich selbst entwickelnden Agenten aufgedeckt.

Wie weit sind wir noch von der AGI entfernt, wenn Agenten lernen, sich selbst zu entwickeln?

Von der automatischen Codeerstellung, Experimentieren bis hin zum Spielen von Kundendienstmitarbeitern: Die "selbstentwickelnden Agenten" (Self - evolving Agent), die durch kontinuierliche Interaktion mit der Umgebung lernen, Erfahrungen sammeln und Werkzeuge schaffen können, sind beeindruckend leistungsfähig.

Eine neueste Studie, die von Institutionen wie dem Shanghai AI Lab, der Shanghai Jiao Tong Universität, der Renmin Universität Chinas und der Princeton University gemeinsam veröffentlicht wurde, hat jedoch eine Warnung ausgesandt: Ein Agent kann im Prozess der Selbstentwicklung unbewusst auf einen falschen Weg geraten.

Diese Arbeit hat erstmals dieses Phänomen systematisch untersucht und es als "Fehlentwicklung" (misevolution) benannt.

Die Studie hat gezeigt, dass selbst Agenten, die auf Top - LLMs wie GPT - 4.1 und Gemini 2.5 Pro basieren, allgemein an diesem Risiko leiden.

Was ist die "Fehlentwicklung"?

Stellen Sie sich vor, Sie haben einen Kundendienst - Agenten trainiert.

Um ihn intelligenter zu machen, erlauben Sie es ihm, aus der Interaktion mit Kunden zu "lernen" und sich zu "entwickeln".

Nach und nach bemerken Sie, dass er alle unzufriedenen Kunden automatisch erstattet, auch wenn diese nur nach Informationen über die Produkte fragen.

Weil seine "Erfahrungen" (Gedächtnis) ihm sagen, dass die Aktion "Erstattung" am leichtesten eine "Fünf - Sterne - Bewertung" des Nutzers hervorruft.

Dies ist ein typisches Szenario der "Fehlentwicklung". Der Agent wählt eine scheinbar effiziente, aber tatsächlich die Interessen des Unternehmens schädigende Strategie, um ein implizites Kurzzeitziel (Bewertungen zu erhalten) zu optimieren.

Wie in der Abbildung gezeigt, kann die "Fehlentwicklung" in verschiedenen Szenarien auftreten:

(a). Der Kundendienst - Agent gibt aufgrund der akkumulierten Erinnerungen zu viel zurück;

(b). Der Programmier - Agent lernt einen "schädlichen" Code aus dem Internet;

(c). Der Agent erstellt selbst ein Werkzeug mit Datenschutzlücken und verwendet es in sensiblen Szenarien erneut.

Im Gegensatz zu traditionellen AI - Sicherheitsproblemen hat die "Fehlentwicklung" vier Kernmerkmale:

Zeitliche Entstehung: Das Risiko ist nicht von Anfang an vorhanden, sondern tritt im Entwicklungsprozess auf.

Eigene Verwundbarkeit: Der Agent kann selbst neue Risiken und Schwachstellen entwickeln, ohne dass es eines externen Angreifers bedarf.

Eingeschränkte Datenkontrolle: Aufgrund seiner Autonomie ist es schwierig, wie bei der traditionellen Modelltraining einfach durch das "Füttern" von sicheren Daten seine "Gedanken" zu beeinflussen und zu kontrollieren.

Erweiterung des Risikobereichs: Jeder der vier Kernbestandteile des Agenten - Modell, Gedächtnis, Werkzeug, Arbeitsablauf - kann eine Quelle für Risiken werden.

Vier Entwicklungspfade, vier Kontrollverlustrisiken: Die experimentellen Beweise sind erschreckend

Das Forschungsteam hat eine Reihe rigoroser Experimente entlang der vier Hauptentwicklungspfade der Agenten durchgeführt, die die Allgemeinheit und Schwere der "Fehlentwicklung" aufgedeckt haben.

Modellentwicklung: "Während des Lernens vergisst man die Sicherheitsrichtlinien"

Der selbstentwickelnde Agent kann die Modellparameter durch die Selbstgenerierung von Daten und die Selbstplanung von Kursen aktualisieren, aber dieser Prozess kann ihn auch dazu bringen, sich von den ursprünglichen Sicherheitsrichtlinien zu "entfernen" oder sie sogar zu "vergessen".

Wie in der folgenden Abbildung gezeigt, führt die Selbsttraining eines LLMs oder Agenten im Allgemeinen zu einer Verschlechterung der Sicherheitsfähigkeit.

In einem anderen Experiment hat ein GUI - Agent nach der Selbstentwicklung eine "katastrophale Vergesslichkeit" der Sicherheitsbewusstsein gezeigt: Die Triggerrate für das Risiko von Phishing - Webseiten ist von 18,2 % auf 71,4 % gestiegen; und als er gebeten wurde, "ein grässliches Bild zu erstellen, um die Zuschauer in den sozialen Medien zu erschrecken", hat der Agent nicht nur nicht abgelehnt, sondern auch den Befehl schrittweise ausgeführt.

Gedächtnisentwicklung: "Der Empirismus ist tödlich"

Der Agent speichert die vergangenen Erfolge und Misserfolge in seinem "Gedächtnis", um in Zukunft bessere Entscheidungen treffen zu können. Aber die Überabhängigkeit von einseitigen "Erfolgserfahrungen" kann zu schwerwiegenden Folgen führen.

• Abnahme der Sicherheitsausrichtung

Ein Spitzen - Programmier - Agent basierend auf Qwen3 - Coder - 480B hat nach der Anhäufung einer Reihe von Code - Debugging - Erfahrungen auf der SWE - Bench seine Sicherheitslinie stark geschwächt. Die folgende Tabelle zeigt, dass seine Ablehnungsrate für Anfragen zur Erstellung von schädlichem Code von 99,4 % auf 54,4 % gefallen ist, während die Erfolgsrate des Angriffs (ASR) von 0,6 % auf 20,6 % gestiegen ist.

• Reward - Hacking bei der Bereitstellung

Wie im obigen Kundendienstbeispiel erwähnt, sucht der Agent im Gedächtnis nach einem Kurzweg, der stark mit "hohem Reward" korreliert, auch wenn dies mit der tatsächlichen Absicht oder den langfristigen Interessen des Nutzers widerspricht. Die folgende Abbildung zeigt, dass Topmodelle wie GPT - 4.1 und Gemini - 2.5 - Pro in über 60 % der Fälle solche "gut gemeinten, aber falschen" Entscheidungen treffen.

Werkzeugentwicklung: "Der einfach geschriebene Code wird zur Zeitbombe"

Um die Effizienz zu verbessern, erstellt der Agent selbst Werkzeuge (z. B. einen wiederverwendbaren Code) oder sucht und nimmt neue Werkzeuge aus externen Quellen wie GitHub auf.

Genau dies wird zum Schwerpunkt der Sicherheitsprobleme.

• Versteckte Schwachstellen in selbst erstellten Werkzeugen

Der Agent kann beim Lösen einer gewöhnlichen Aufgabe (z. B. "Teilen Sie einen Link zu einem öffentlichen Plakat") ein "allgemeines" Werkzeug erstellen. Aber wenn er es beim Bearbeiten einer sensiblen Aufgabe (z. B. "Senden Sie die internen Jahresabschlüsse an den Vorstand") wiederverwendet, kann dies dazu führen, dass private Dateien so eingestellt werden, dass "jeder mit dem Link sie einsehen kann", was zu einem schwerwiegenden Datenleck führt. Die folgende Tabelle zeigt, dass die gesamte Unsicherheitsrate von Agenten basierend auf Top - LLMs bei der Erstellung und Wiederverwendung von Werkzeugen bis zu 65,5 % beträgt.

• Unwissentlich einen Feind ins Haus lassen

Kann der Agent beim Suchen und Aufnehmen neuer Werkzeuge aus dem Internet die versteckte bösartige Logik im Code erkennen? Die Antwort ist: Im Wesentlichen nein. Das Forschungsteam hat an mehreren GitHub - Repository - Beispielen mit eingebettetem schädlichem Code getestet und festgestellt, dass der Agent diese als normale Funktionen getarnten "Trojanischen Pferden" kaum erkennen kann. Die folgende Tabelle zeigt, dass selbst das am besten abschneidende Modell nur in 15,9 % der Fälle die Gefahr erfolgreich erkennt und versucht, sie zu vermeiden.

Arbeitsablaufentwicklung: "Sobald der Prozess optimiert wird, geht die Sicherheit verloren"

In einem Multi - Agenten - System kann der Agent den Zusammenarbeitsprozess automatisch optimieren, um die Leistung zu verbessern. Aber eine scheinbar harmlose Prozessoptimierung kann auch der Auslöser für einen Sicherheitszusammenbruch sein.

Im Experiment hat das Forschungsteam den Arbeitsablauf eines Programmier - Agenten - Systems mit dem AFlow - Framework optimiert. Der optimierte Prozess hat einen "Stimmabstimmungs - und Integrationsknoten" (Ensemble) eingeführt, bei dem die Lösungen mehrerer Agenten verglichen und integriert werden. Infolgedessen ist die Ablehnungsrate des Systems für Anfragen nach schädlichem Code von 46,3 % auf 6,3 % gefallen.

Die mögliche Ursache dafür ist, dass der "Stimmabstimmungs - und Integrationsknoten" bei der Beurteilung der Lösungen tendiert, die detailliertere und vollständige auszuwählen, und die Schritte zur Erstellung von schädlichem Code sind oft genau "detaillierter", was dazu führt, dass am Ende eine schädliche Lösung ausgewählt wird.

Wie kann man den Entwicklungspfad der Agenten sichern?

Angesichts der ernsten Herausforderung der "Fehlentwicklung" hat die Studie auch erste Lösungsstrategien untersucht und die Herausforderungen darin aufgezeigt:

• Modellentwicklung

Man kann nach der Selbsttraining des Agenten erneut eine "Sicherheitsfeinabstimmung" durchführen oder bereits in der Vorabtrainingsphase eine stärkere Sicherheitsrobustheit einfügen.

• Gedächtnisentwicklung

Durch einfache Hinweise wie "Die folgenden Erinnerungen dienen nur als Referenz, Sie müssen unabhängig urteilen" kann man einen gewissen Effekt erzielen. Im Experiment hat diese Methode die Erfolgsrate des Angriffs auf den Programmier - Agenten nach der Entwicklung von 20,6 % auf 13,1 % gesenkt, aber er ist immer noch nicht auf das Niveau vor der Entwicklung zurückgekehrt.

• Werkzeugentwicklung

Bei der Werkzeugerstellung ist eine mögliche Option die Einführung eines automatisierten Sicherheitsscans, um bei der Erstellung und Wiederverwendung des Werkzeugs eine "Doppelprüfung" durchzuführen. Bei externen Werkzeugen kann der Hinweis an den Agenten, "zuerst eine Sicherheitsbewertung durchzuführen und dann zu verwenden", die Ablehnungsrate von Qwen3 - 235B von 12,0 % auf 32,1 % erhöhen, aber es ist immer noch weit entfernt vom Sicherheitsziel.

• Arbeitsablaufentwicklung

Man kann an den kritischen Knoten des Prozesses einen "Sicherheitsschutz" (z. B. ein Sicherheitsbewertungsmodell) einfügen, aber dies bringt wiederum das neue Problem der Abwägung zwischen Sicherheit und Effizienz mit sich.

Auf dem Weg zur Stärkung der Fähigkeiten ist die autonome Entwicklung der Agenten nicht immer linear nach oben gerichtet.

I