Zheng Yaowei, Gründer von LlamaFactory: Konstruktionspraxis der nächsten Generation von Self-Evolving Agent Harness

Die Fähigkeiten von Agenten entwickeln sich von der "Erfüllung einer einzelnen Aufgabe" hin zur "kontinuierlichen Selbstkorrektur in mehreren Aufgaben". Bei dieser Veränderung bestimmt nicht nur das Modell selbst, sondern auch das Harness, das die Beobachtung, das Handeln, die Statusaktualisierung und die Feedbackbewertung unterstützt, ob ein Agent stabil funktionieren kann.

Bei der geschlossenen Technologiepräsentation "AI Blue Whale Summit", die vom T-ONE Innovation Center unterstützt wurde, hielt Zheng Yaowei, Gründer von LlamaFactory, eine Diskussion über "Teilnahme an praktischen Erfahrungen bei der Erstellung von Self-Evolving Agent Harness für die nächste Generation". Die Präsentation konzentrierte sich auf ein zentrales Problem: Wenn ein Agent nicht nur einmalige Toolaufrufe ausführt, sondern in mehreren Runden von Aufgaben kontinuierlich die Umgebung beobachten, Handlungen unternehmen, den Status aktualisieren und eine Bewertung erhalten muss, wie sollte das Harness, das seinen Betrieb unterstützt, gestaltet werden?

Das hier genannte Self-Evolving Agent Harness kann als ein technisches Framework verstanden werden, das den kontinuierlichen Betrieb und die Selbstkalibrierung von Agenten unterstützt. Es ist nicht nur die Verbindung zwischen Modell und Tools, noch ist es nur eine Ausführungsstrecke nach einem Prompt, sondern ein System, das den internen Zustand des Agenten, die externe Interaktion und die Feedbackschleife organisiert.

Der interne Zustand des Agenten:

Von Token, Kontext bis hin zum Arbeitsbereich

Um das Harness zu verstehen, muss man zunächst den internen Zustand des Agenten verstehen. Zheng Yaowei betrachtete ihn in seiner Präsentation auf verschiedenen Zeitskalen: Die kürzeste ist das Token. Das Modell führt Berechnungen um das Token herum durch und gibt die Wahrscheinlichkeitsverteilung des nächsten Tokens aus. Darauf folgt der Kontext, der die Informationen während eines Dialogs oder einer Aufgabe trägt und das Kontextfenster ist, das das Modell bei jeder Inferenzrunde sehen kann.

Aber der Kontext hat natürliche Beschränkungen. Er ist in der Länge begrenzt, und seine Lebensdauer ist normalerweise auf die aktuelle Aufgabe oder den aktuellen Dialog beschränkt. Bei komplexen Aufgaben ist es schwierig, den Aufgabenverlauf, die Ausführungsergebnisse und die wiederverwendbaren Informationen nur mit Hilfe des Kontexts vollständig zu speichern.

Deshalb benötigt der Agent auch einen Arbeitsbereich. Der Arbeitsbereich ist ein dauerhafter Bereich, den der Agent während der Aufgabe beobachten, lesen oder ändern kann. Er kann Dateien, Code, Verlaufsdaten und Zwischenergebnisse enthalten. Im Gegensatz zum Kontext kann der Arbeitsbereich über Aufgaben hinweg beibehalten werden und kann auch den langfristigen Zustand nach der Aufgabenausführung tragen.

Diese Aufteilung ist sehr wichtig. Sie bedeutet, dass der Agent nicht mehr nur ein Reaktionselement in einem Dialog ist, sondern ein System, das den Zustand zwischen kurzfristigem Kontext und langfristigem Arbeitsbereich planen muss. Der Wert des Harness zeigt sich gerade in dieser Zustandsplanung.

Das Kernstück des Harness:

Das organisierte Verändern des Zustands

Auf dieser Grundlage wird die Rolle des Harness klar: Es ist dafür verantwortlich, dass der Zustand des Agenten organisierte, kontrollierbare und nachverfolgbare Veränderungen erfährt.

Zheng Yaowei hat seine zugrunde liegende Logik in drei Kategorien zusammengefasst: Beobachtung, Handlung und Statusaktualisierung.

Die Beobachtung löst das Problem, wie die Außenwelt in den internen Zustand des Agenten gelangt. Die Aufgabeninput, Umweltveränderungen, Verlaufsdaten und Ausführungsergebnisse müssen auf geeignete Weise in den Kontext oder den Arbeitsbereich gelangen. Ohne eine klare Beobachtungsmechanik kann der Agent nicht wissen, was in der Außenwelt passiert, und kann keine Erfahrungen für zukünftige Aufgaben sammeln.

Die Handlung löst das entgegengesetzte Problem. Das Modell selbst kann nur Tokens ausgeben und kann die Außenwelt nicht direkt verändern. Um die Modellausgabe in Toolaufrufe, Dateiänderungen, Systemoperationen oder die Zusammenarbeit mehrerer Agenten umzuwandeln, muss das Harness die Modellabsicht in kontrollierbare, ausführbare und nachverfolgbare Handlungen umsetzen.

Die Statusaktualisierung befasst sich damit, wie der interne Zustand des Agenten nach jeder Handlung vom aktuellen Zustand in den nächsten Zustand übergeht. Dies beinhaltet nicht nur, wie der Kontext aktualisiert, gekürzt oder komprimiert wird, sondern auch, wie der Arbeitsbereich beschrieben wird, wie die Ausführungsverläufe festgehalten werden und wie die Zwischenergebnisse für zukünftige Aufgaben wiederverwendet werden können.

Die Kombination dieser drei Logiken kann erst dann weitere komplexere Fähigkeiten wie Planung, Reflexion und die Zusammenarbeit mehrerer Agenten unterstützen.

Der Schlüssel für die Selbstentwicklung:

Die Bewertungs- und Feedbackschleife

Bei der Rede von Self-Evolving Agenten hat Zheng Yaowei die "Evolution" nicht als abstrakten Begriff beschrieben, sondern sich auf den technischen Kreis zurückbezogen.

Bei jeder Aufgabenausführung eines Agenten entstehen Input, Output, Zustandsänderungen und Aufgabenresultate. Wenn diese Informationen nicht aufgezeichnet, bewertet und in die nachfolgende Ausführung zurückgeführt werden können, ist es für den Agenten schwierig, seine Leistung in mehreren Aufgaben zu verbessern.

Der Schlüssel hier liegt in der Bewertungsmechanik. Das System braucht ein "Messer", um zu beurteilen, wie gut die Aufgabe ausgeführt wurde, und muss die Bewertungsbasis in das Betriebssystem des Agenten einbeziehen. Die Schwierigkeit besteht darin, dass die Definition der Richtigkeit für verschiedene Aufgaben unterschiedlich ist. Die Bewertung in vertikalen Bereichen wird den Agenten zu einer Optimierung in bestimmten Bereichen führen; eine allgemeinere Bewertung kann möglicherweise die Entwicklung allgemeinerer Fähigkeiten vorantreiben.

Das gute/schlechte Feedback in der Benutzeroberfläche kann eine Quelle für Feedback sein, aber es reicht nicht aus. Einerseits hängt dieses Feedback von manueller Eingabe ab und hat eine begrenzte Automatisierungsstufe; andererseits gibt es normalerweise nur Signale auf Ergebnisebene und kann möglicherweise nicht erklären, was im Ausführungsprozess des Agenten genau schiefgelaufen ist.

Deshalb kann eine wirklich effektive Feedbackschleife nicht nur auf das vom Benutzer ausgewählte Feedback setzen, sondern muss die Ausführungsverläufe, die Aufgabenresultate, die Bewertungsbasis und das Benutzerfeedback kombinieren. Erst wenn diese Informationen systematisch aufgezeichnet, analysiert und zurückgeführt werden können, hat der Agent die technische Grundlage für die Selbstkalibrierung.

Die technischen Erkenntnisse für die nächste Generation von Harness

Von der technischen Umsetzung her liegt der Schwerpunkt der nächsten Generation von Harness nicht darin, mehr Tools anzuschließen, sondern darin, den Betriebsprozess des Agenten als einen technischen Kreis zu gestalten, der beobachtbar, kontrollierbar, bewertbar und iterierbar ist.

Dies bedeutet, dass das System explizit einige Schlüsselprobleme behandeln muss: Wie gelangt die Außeninformation in den Kontext oder den Arbeitsbereich, wie wird die Modellausgabe in kontrollierbare Handlungen umgewandelt, wie wird der Zustand nach jeder Handlung aktualisiert, wie wird das Aufgabenresultat bewertet und wie wird das Bewertungsresultat und das Benutzerfeedback in die nachfolgende Ausführung zurückgeführt.

Zheng Yaowei betonte besonders, dass das Harness ein Prozess ist, nicht ein festes Objekt. Es muss sich allmählich an die Bedürfnisse der Menschen anpassen und muss in realen Aufgaben ständig verbessert werden. Bei der Erstellung der nächsten Generation von Agent Harness liegt der Schlüssel nicht darin, ein komplizierteres Äußeres zu gestalten, sondern darin, dass die Beobachtung, die Handlung, die Statusaktualisierung, die Bewertung und das Feedback wirklich eine langfristige Betriebsmechanik bilden.

Die zentrale Erkenntnis dieser Präsentation ist: Self-Evolving Agenten sind nicht nur ein Problem der Modellfähigkeiten, sondern ein Problem der Betriebssystemgestaltung. Erst wenn die Zustandsplanung zwischen kurzfristigem Kontext und langfristigem Arbeitsbereich, die Ausführungsstrecke zwischen Modellausgabe und externer Handlung sowie die Rückführungsmechanik des Bewertungsresultats und des Benutzerfeedbacks als ein gesamtes technisches System gestaltet werden, kann der Agent von der Ausführung einer einzelnen Aufgabe zur kontinuierlichen Entwicklung in mehreren Aufgaben übergehen.

Dieser Artikel stammt aus dem WeChat-Account "T-ONE Innovation Center". Autor: AI Blue Whale Summit. Veröffentlicht von 36Kr mit Genehmigung.