Neue Arbeit des Teams von Yan Shuicheng: Scaling Harness Intelligence

Die Fähigkeiten eines Agenten werden nicht vollständig durch das zugrundeliegende Modell bestimmt. Der Agent Harness, der für die Verwaltung des Gedächtnisses, die Erstellung von Plänen, die Orchestrierung von Tool-Aufrufen und die Auslösung von Wiederherstellungsmechanismen bei Fehlern zuständig ist, ist ebenfalls von entscheidender Bedeutung.

Ein SOTA-Grundmodell zeigt stark eingeschränkte Fähigkeiten, wenn es unter falschen Gedächtnisstrategien oder Aktionsprotokollen eingesetzt wird. Umgekehrt kann ein sorgfältig gestaltetes Agent Harness die tatsächliche Leistung eines mittelgroßen Modells „verstärken“.

Dennoch hängt das Harness-Design nach wie vor von manuellen Eingriffen ab, ist auf bestimmte Aufgaben beschränkt und grundsätzlich nur schwer skalierbar.

In dieser Arbeit hat das Team um Professor YAN Shuicheng von der Nationalen Universität Singapur zusammen mit Kooperationspartnern JIT-Agent vorgestellt. Es wandelt die Harness-Konstruktion von einem manuell entwickelten, im Voraus entworfenen Artefakt in eine erlernbare Fähigkeit um, sodass aufgabenadaptive Agent Harness für jedes beliebige vorhandene Agentic LLM in Echtzeit synthetisiert werden können.

Link zum Papier: https://arxiv.org/pdf/2608.25593

Die Ergebnisse zeigen, dass das von JIT-Agent generierte Harness in Aufgaben wie tiefgehende Forschung, tägliche Arbeit, Planung und Arbeitsraumaufgaben die Fähigkeiten des zugrundeliegenden Backbone-Modells kontinuierlich verbessern. Es liegt im gleichen Wettbewerbsbereich wie etablierte Agent-Laufzeitumgebungen wie OpenCode und Claude Code und erweitert die Kosten-Leistungs-Grenze.

Das Forschungsteam gibt an, dass JIT-Agent das erste Modell ist, das speziell für die sofortige Harness-Generierung entwickelt wurde. Es etabliert die Harness-Intelligenz als eine von der Skalierung der Modellgröße unabhängige, trainierbare, übertragbare und kombinierbare Fähigkeitsdimension von Agenten.

Forschungsmethodik

Damit das Harness stabil vom Modell generiert werden kann, lässt das Forschungsteam JIT-Agent nicht direkt vollständig uneingeschränkte Agent-Programme ausgeben, sondern legt ein festes Protokoll mit vier Modulen fest, wie folgt:

• Memory: Legt fest, wie historische Interaktionen und Zwischenzustände gespeichert, komprimiert und dem Modell präsentiert werden;
• Planning: Erstellt die nächsten Anweisungen und teilt sowie passt Aufgabenziele an;
• Action: Treibt den Ausführungszyklus der Aktionen voran und verarbeitet Tool-Aufrufe sowie Ausführungsergebnisse;
• Capability: Orchestriert verfügbare Tools und Fähigkeiten und legt fest, welche externen Fähigkeiten in verschiedenen Phasen zugänglich gemacht werden.

Diese vier Module bilden gemeinsam ein kombinierbares Harness. Das feste Protokoll definiert die Modul-Schnittstellen, den Lebenszyklus, die Überprüfungsregeln und die Ausführungssemantik, während gleichzeitig der Gestaltungsspielraum innerhalb jedes Moduls erhalten bleibt.

Auf dieser Grundlage haben sie HarnessFactory aufgebaut, die verschiedene Arten von repräsentativen Agent-Scaffolds unter einem einheitlichen Satz von Schnittstellen vereinheitlicht. JIT-Agent gibt strukturierte, ausführbare Module aus, keine nur zum Lesen bestimmten natürlichsprachlichen Beschreibungen. Dies reduziert sowohl irrelevante sprachliche Unterschiede als auch ermöglicht es, die generierten Ergebnisse direkt in den Ausführungsablauf einzubinden.

Um die Herausforderungen in Bezug auf Adaptivität, Zuverlässigkeit und Evolvierbarkeit beim Training von JIT-Agent zu bewältigen, hat das Forschungsteam das folgende Dreistufige Training durchgeführt:

Erste Stufe: Anpassung von Harness an die Aufgabe

In dieser Phase lernt das Modell anhand von Beispielen, die vom Lehrermodell generiert werden und dem Protokoll entsprechen, wie es verschiedene Arten der Orchestrierung von Gedächtnis, Planung, Aktionen und Fähigkeiten entsprechend der Aufgabenstruktur auswählt, um zu verstehen, was die Hauptengpässe der aktuellen Aufgabe sind und welche Module speziell gestaltet werden müssen.

Wenn eine Aufgabe beispielsweise auf vielen externen Belegen beruht, muss das Harness möglicherweise mehr Aufmerksamkeit auf die Organisation der abgerufenen Inhalte und das Arbeitsgedächtnis richten. Wenn eine Aufgabe mehrere Ausführungsphasen umfasst, müssen Planung und Zustandsverwaltung mit dem Wechsel der Phasen angepasst werden. Wenn eine Aufgabe die Änderung von Dateien erfordert, müssen das Aktionsmodul und der Überprüfungsmechanismus um den Dateizustand herum organisiert werden.

Zweite Stufe: Lernen der Reparatur aus fehlgeschlagenen Abläufen

Es reicht nicht aus, nur ein strukturell vernünftiges Harness zu generieren. Die Modellausgabe kann Kompilierungsfehler, nicht übereinstimmende Schnittstellen oder Laufzeitfehler aufweisen, sodass das Modell auch über Wiederherstellungsfähigkeiten verfügen muss.

In dieser Phase wird der fehlgeschlagene Harness-Generierungsprozess in einen begrenzten Reparaturablauf umgewandelt. Das Modell lernt, die Ursachen von Fehlern zu erkennen und die betroffenen Module zu korrigieren, ohne das gesamte System zu verändern.

Der entscheidende Schritt dabei ist, dass die Zuverlässigkeit nicht mehr vollständig von manuellen Debugging-Arbeiten externer Ingenieure abhängt. Der Harness-Generator selbst wird darauf trainiert, Probleme mit seiner eigenen Ausgabe zu behandeln.

Dritte Stufe: Kontinuierliche Selbstevolution

In dieser Phase stellen sie die „Evolutionary Group-Decoupled Policy Optimization“ (kurz Evo-GDPO) vor, die darauf abzielt, dass das Modell kontinuierlich Ausführungsrückmeldungen nutzt, um eigenständig das optimale Harness zu generieren.

Im Gegensatz zu Ansätzen, die nur die Punktzahl einer einzelnen Aufgabe verfolgen, normalisiert Evo-GDPO Belohnung, Latenz und Kosten getrennt voneinander. Dadurch sucht das Modell nicht nur nach einem Harness mit „besserer Wirkung“, sondern berücksichtigt auch die Ausführungseffizienz und den Ressourcenverbrauch, sodass die Kombination aus Modell und Harness die Kosten-Leistungs-Grenze stetig erweitert.

Nach Abschluss des oben genannten Trainings erhalten sie schließlich ein Harness-Intelligenzmodell namens JIT-Agent-27B, das in der Lage ist, aufgabenspezifische Harness sofort anzupassen, zu reparieren und weiterzuentwickeln.

Experimentelle Ergebnisse

Das Forschungsteam hat JIT-Agent an mehreren Agent-Benchmarks und mit verschiedenen Modell-Backbones evaluiert.

Die Ergebnisse zeigen, dass JIT-Agent bei verschiedenen Modellen eine deutliche Leistungssteigerung bewirken kann. Beispielsweise steigt die Punktzahl von DeepSeek-V4-Flash bei DeepPlanning-Shopping um 24,8 % und übertrifft GPT-5.6, wenn JIT-Agent als Harness-Assistent fungiert. GLM-5.2 erreicht hingegen auf allen Listen von OfficeBench, AgentIF und DeepSearchQA die SOTA-Punktzahlen.

Gleichzeitig liegt das von JIT-Agent generierte Harness in seiner Leistung im gleichen Wettbewerbsbereich wie etablierte Agent-Laufzeitumgebungen wie OpenCode und Claude Code und sorgt für eine kontinuierliche Leistungssteigerung bei den drei Modellreihen DeepSeek V4, Mimo-V2.5 und Qwen3.6.

Was kommt als Nächstes?

Das Forschungsteam betrachtet die Harness-Intelligenz als eine weitere grundlegende Skalierungsdimension, die neben Modellkapazität und Inferenzrechenleistung steht. JIT-Agent ist ein wichtiger Schritt zur Erreichung dieses Ziels.

Langfristig ergibt sich Potenzial aus einem kooperativen Designparadigma für Modell und Harness, bei dem das Grundmodell und die operativen Strukturen, die sein Gedächtnis, seine Planung, seine Aktionen und seine Tool-Nutzung gestalten, gemeinsam trainiert werden.

Das Forschungsteam gibt jedoch an, dass zukünftige Systeme möglicherweise nicht die „bewusst radikale Form“ dieser Studie übernehmen müssen – das gesamte Gerüst kann jederzeit neu gestaltet werden. Es könnte die bessere Wahl sein, ein stabiles Kern-Harness zu behalten und gleichzeitig dem Modell zu erlauben, bei Bedarf bestimmte Komponenten zu erstellen, zu überarbeiten oder zu ersetzen.

Sie gehen davon aus, dass mit der Reifung dieses Paradigmas die Fähigkeit zur Synthese, Reparatur und Evolution von Harness allmählich in das Grundmodell selbst integriert wird. Das Modell wird nicht nur lernen, unter einem gegebenen Harness zu handeln, sondern auch das Harness, auf das es angewiesen ist, zu verbessern. Daraus ergeben sich weiterführende Forschungsthemen im Zusammenhang mit adaptiven Schnittstellen, überprüfbaren Laufzeitmodifikationen und der kooperativen Skalierung von Modell und Ausführungssystem.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Academic Headline“ (ID: SciTouTiao), verfasst von Academic Headline und von 36kr autorisiert veröffentlicht.