Der verdeckte Krieg von Agent in der zweiten Halbzeit findet in der Harness-Scheduling-Schicht statt
Text | Wang Yi
In einer kürzlich von DRACO durchgeführten Bewertung hat ein Datensatz die Aufmerksamkeit der Branche erregt.
Dies ist ein öffentlicher Benchmark, der 100 anspruchsvolle Forschungs- und Analyseaufgaben umfasst. Das Open-Source-Agent-Framework OpenSquilla 0.5.0 organisiert vier in China entwickelte Modelle – DeepSeek, GLM, Kimi und Qwen – in einer parallelen Vorschlagsarchitektur, deren Ergebnisse anschließend von einem weiteren Modell zusammengefasst werden.
Die Ergebnisse zeigen, dass diese vollständig in China entwickelte Modellkombination einen Qualitätswert von 60,85 erreicht, der leicht über dem 59,80 des neuesten Flaggschiff-Modells Fable5 liegt. Die durchschnittlichen Kosten pro Aufgabe betragen etwa ein Drittel des letztgenannten Modells: 0,39 USD gegenüber 1,21 USD.
In einer weiteren Vergleichsgruppe erzielte diese Mehrmodell-Integrationslösung einen höheren Qualitätswert bei gleichzeitiger Kostensenkung von etwa 86 % bis 92 % im Vergleich zu den einzeln ausgeführten Modellen Claude Opus 4.8 und GPT-5.5.
Dieser Datensatz wirft die eigentliche Frage auf: Müssen komplexe Aufgaben standardmäßig immer noch dem leistungsstärksten Einzelmodell überlassen werden?
In den letzten zwei Jahren konzentrierte sich der Wettbewerb um große Sprachmodelle hauptsächlich auf Basismodelle, wobei Modellfähigkeiten, Kontextlänge und Benchmark-Ergebnisse im Vordergrund standen. Auf der Anwendungsebene erfordert eine Aufgabe oft mehrere Ausführungsschritte. Die Auswahl der Modelle, ihre Zusammenarbeit, die Überprüfung der Ergebnisse und die Wiederherstellung nach Fehlern beeinflussen alle die endgültige Qualität und die Kosten.
Das Modell selbst ist natürlich wichtig – aber auch die Art und Weise, wie Modelle organisiert werden, gewinnt zunehmend an Bedeutung.
01. Das übersehene Harness
Um diesen Wandel zu verstehen, muss man die grundlegende Struktur von Agenten aufschlüsseln. In der Branche wird die Beziehung zwischen Agent und Harness häufig mit dieser Formel ausgedrückt: Agent = Basismodelle + Harness.
Das bedeutet, dass die Basismodelle Fähigkeiten wie Sprachverständnis, Schlussfolgerung, Codegenerierung und Werkzeugnutzung bereitstellen – während das Harness diese Fähigkeiten in konkrete Abläufe einbindet, sodass die Ergebnisse ausführbar, beobachtbar und überprüfbar sind.
Wenn Modelle die Fähigkeiten bereitstellen, definiert das Harness die Art und Weise, wie diese Fähigkeiten genutzt werden. Es umfasst Kontextverwaltung, Ausführungskontrolle, Werkzeugaufrufe, Ergebnisüberprüfung und Fehlerwiederherstellung – sowie die Koordination mehrerer Modelle. Ein einzelnes Modell beantwortet nur Fragen, wenn es aufgerufen wird. Erst durch die Einbettung in ein Harness wird es in einen vollständigen Arbeitsablauf integriert.
Der Wert des Harness geht über eine rein technische Verpackung hinaus.
Das Team von Primitve Rhythm erwähnte kürzlich in der Studie zum Claw-SWE-Bench, dass die Erfolgsrate desselben Modells bei unterschiedlichen Harness-Konfigurationen um bis zu 27,4 Prozentpunkte variieren kann. Das bedeutet: Ohne das Modell auszutauschen, sondern nur durch Anpassung des umliegenden Ausführungsframeworks, kann das Endergebnis um fast 30 % abweichen.
In alltäglichen Szenarien wird dieser Unterschied noch deutlicher.
Bei vielen Aufgaben beschränken sich Modellaufrufe nicht auf eine einzelne Frage-Antwort-Interaktion. Das System muss die Aufgabe verstehen, Schritte aufteilen, Informationen abrufen, Werkzeuge aufrufen und anschließend Überprüfungen und Korrekturen durchführen. Wenn ein einzelner Schritt fehlschlägt, wird das Endergebnis beeinträchtigt.
Einfach alle Aufgaben dem teuersten Modell zu überlassen, war früher eine bequeme Lösung. Bei komplexen Aufgaben wurde standardmäßig auf das Flaggschiff-Modell zurückgegriffen, um Fehler zu vermeiden – aber auch einfache Aufgaben verbrauchten teure Rechenleistung. Die Kosten stiegen stetig, während die Ergebnisse trotzdem nicht vollständig kontrollierbar waren.
Mit der steigenden Anzahl verfügbarer Modelle haben sich die Auswahlkriterien geändert. Verschiedene Modelle entwickeln zunehmend eigene Schwerpunkte. Es geht nicht mehr nur darum, das stärkste Modell auszuwählen, sondern auch das passende Modell für jeden einzelnen Schritt zu finden.
Genau das ist die Aufgabe des Harness. Es nimmt nicht am Wettbewerb um Basismodelle teil, sondern bestimmt, wie Modelle gesteuert, ergänzt und überprüft werden – und ob sie am Ende zu einer zuverlässigen Leistung führen.
02. OpenSquilla 0.5.0: Modelle zu einem Team organisieren
Mit OpenSquilla 0.5.0 Preview und dem gleichzeitig veröffentlichten technischen Bericht „Agentic Routing“ wird dieses Konzept in ein konkretes Produkt umgesetzt.
OpenSquilla ist kein neues großes Sprachmodell, sondern ein quelloffenes, lokal hostbares Laufzeitframework für Agenten. Es trainiert keine Basismodelle, sondern konzentriert sich auf die Steuerung und Organisation vorhandener Modelle.
Agentic Routing kann als schrittweises Modellrouting verstanden werden. Herkömmliches Routing trifft normalerweise nur eine einzige Entscheidung bei der Anfrage: Das System wählt ein Modell basierend auf der Benutzerfrage aus. Agentic Routing trifft seine Entscheidungen während der gesamten Ausführung des Agenten – bei jedem Schritt wird das Modell basierend auf dem aktuellen Zustand neu ausgewählt.
Einfache Werkzeugaufrufe können von einem leichten Modell verarbeitet werden; komplexe Schlussfolgerungen, die Zusammenfassung langer Kontexte oder Codegenerierung erfordern möglicherweise ein leistungsstärkeres Modell. Bei einigen Schritten werden mehrere Modelle gleichzeitig aufgerufen, die parallel Lösungen vorschlagen, bevor das System diese zusammenfasst.
Die Kernfunktion von Version 0.5.0 ist die integrierte Zusammenarbeit mehrerer Modelle.
In diesem Mechanismus sind vier in China entwickelte Modelle für parallele Vorschläge vorgesehen, die jeweils unabhängig Recherchen durchführen, Schlussfolgerungen ziehen und Antworten generieren. Ein fünftes Modell übernimmt die Zusammenfassung und erstellt aus mehreren vorgeschlagenen Antworten das Endergebnis.
Dieser Ansatz ist nicht neu: Er behebt häufige Informationslücken, die bei der Ausführung einzelner Modelle auftreten.
Ein einzelnes Modell kann bei der Informationssuche wichtige Quellen übersehen; bei komplexen Einschränkungen kann es leicht einen Aspekt vernachlässigen. Die parallele Untersuchung durch mehrere Modelle bedeutet, dass Modelle mit unterschiedlichen Fähigkeiten sich gegenseitig aus verschiedenen Perspektiven ergänzen – und die anschließende Zusammenfassung reduziert die Auswirkungen von Fehlern einzelner Modelle.
Das OpenSquilla-Team hat in der DRACO-Bewertung mehrere Vergleichsgruppen aufgelistet.
Bei der Aufgabe zum grenzüberschreitenden E-Commerce-Checkout hat ein einzelnes Modell die Bestätigungsmechanismen und das 30-minütige Stornierungsfenster der Plattform Rakuten übersehen – die Mehrmodell-Lösung hat diese Plattformdetails ergänzt.
Bei der Analyse der Benutzererfahrung bei KI-Codevervollständigungen hat ein einzelnes Modell die Auslöserstrategien für Debugging und Funktionsentwicklung vertauscht – die Mehrmodell-Lösung lieferte genauere Interaktionsstrategien und Latenzbudgets.
Bei der Vergleichsaufgabe für wärmepumpenbetriebene Wäschetrockner in Australien hat ein einzelnes Modell die Kapazitätsparameter verschiedener Geräte nicht vollständig abgedeckt – die Mehrmodell-Lösung lieferte umfassendere Vergleichskriterien.
Diese Vergleiche zeigen, dass einzelne Modelle bei komplexen Aufgaben leicht Lücken hinterlassen. Parallele Vorschläge mehrerer Modelle mit anschließender Zusammenfassung können einige Details ergänzen und die Ergebnisse zuverlässiger machen.
Bemerkenswert ist, dass OpenSquilla 0.5.0 keine plötzliche Wende zur Mehrmodell-Integration darstellt. Die vorherigen Versionen haben sich schrittweise um Modellsteuerung, Arbeitsablaufgestaltung und Ergebnisüberprüfung weiterentwickelt:
v0.1.0 führte intelligentes Routing ein, um einfache Aufgaben an kostengünstigere Modelle zu übergeben; v0.3.0 implementierte selbstorganisierende Arbeitsabläufe mit MetaSkill, sodass der Agent Unteraufgaben entsprechend dem Ziel strukturieren kann; v0.4.0 fügte überprüfbares Codieren und eine signierte Desktop-Version hinzu, um Codegenerierung in einen ausführbaren Überprüfungsablauf zu integrieren. Bei v0.5.0 wurde die Mehrmodell-Integration schließlich in die Harness-Ebene eingebettet.
Alle Aktualisierungen verfolgen ein klares Ziel: Die Steuerung von Modellaufrufen vorhersehbarer, kostengünstiger und zuverlässiger zu gestalten.
03. Der Wert chinesischer Modelle wandelt sich von Einzelfähigkeiten zu kombinierten Fähigkeiten
Die DRACO-Ergebnisse von OpenSquilla 0.5.0 sind lediglich eine vorläufige Beobachtung. Ihre Bedeutung liegt darin, dass sie einen Einblick in zwei gleichzeitig stattfindende Entwicklungen geben: Die Fähigkeiten chinesischer Modelle differenzieren sich, und die Methoden zur Modellorganisation werden ausgereifter.
Zuerst zu den Modellen:
Bei der DRACO-Einzelmodellbewertung erzielte DeepSeek V4 Pro 50,32 Punkte, Qwen 3.7 49,34 Punkte und GLM-5.2 48,28 Punkte – es besteht immer noch eine Lücke zu den 59,80 Punkten von Fable5. Auf Ebene einzelner Modelle haben sie die Flaggschiff-Modelle noch nicht eingeholt.
Aber die Rolle chinesischer Modelle hat sich verändert. Sie sind nicht mehr nur kostengünstige Alternativen, sondern entwickeln zunehmend eigene Schwerpunkte bei verschiedenen Aufgabentypen. Ein einzelnes Modell mag nicht in allen Bereichen überlegen sein – aber in einem gut strukturierten Organisationsframework wird der kombinierte Wert maximiert.
Anschließend zu den Organisationsmethoden:
Routing-Mechanismen wie Agentic Routing haben sich von „Auswahl des Modells basierend auf der Frage“ zu „Steuerung des Modells basierend auf dem Ausführungszustand“ weiterentwickelt. In Agent-Szenarien prüft das System, welcher Schritt der Aufgabe erreicht ist, ob das Risiko steigt und ob eine Überprüfung oder Wiederherstellung erforderlich ist – bevor es entscheidet, welches Modell im nächsten Schritt aufgerufen wird.
Das Routing-Design von OpenSquilla umfasst vier Ebenen: Filterung nach Komplexität, Klassifizierung des Aufgabentyps, Erkennung des Kontextzustands und abschließende Modellrangfolge. Der entscheidende Faktor ist nicht ein bestimmter Algorithmus, sondern dass das Routing den aktuellen Ausführungszustand der Aufgabe versteht.
Dasselbe Aufgabe erfordert in verschiedenen Phasen möglicherweise unterschiedliche Modelle. Für die anfängliche Aufgabengliederung kann ein kostengünstiges Modell verwendet werden; bei komplexer Beweiswiederherstellung kann zu einem geeigneteren Modell gewechselt werden. Nach einer fehlgeschlagenen Überprüfung kann ein leistungsstärkeres Modell zur Korrektur hinzugezogen werden. Das Routing entscheidet nicht mehr nur über die ursprüngliche Benutzerfrage, sondern über den Zustand der Aufgabe in ihrer aktuellen Phase.
Jede Routing-Entscheidung hinterlässt Ausführungsdaten, einschließlich Modellauswahl, Ergebnis und Kosten. Diese Daten fließen zurück in das Routing-System und können auch zum Training lokaler Modelle verwendet werden, die speziell für die Ausführung im Harness optimiert sind. Je genauer das Routing funktioniert, desto mehr Aufgaben können mit demselben Budget ausgeführt werden – und desto größer ist das Potenzial für zukünftige Verbesserungen des Systems.
Die Leistung von OpenSquilla 0.5.0 zeigt: Wenn der Modellpool ausreichend vielfältig und das Steuerungssystem ausreichend präzise ist, müssen komplexe Aufgaben nicht standardmäßig dem teuersten Modell überlassen werden.
04. Agenten müssen sich letztendlich auf die Leistungserbringung konzentrieren
Bei der Nutzung von KI zählt letztendlich das gelieferte Ergebnis.
Ob ein Agent in echte Arbeitsabläufe integriert werden kann, hängt von grundlegenden Kriterien ab: die Fähigkeit, Aufgaben abzuschließen, die Überprüfbarkeit der Ergebnisse und die Tragbarkeit der Kosten. Viele frühere Projekte scheiterten nicht an fehlenden Modellfähigkeiten, sondern an unrentablen Kosten bei der Skalierung.
Der von OpenSquilla 0.5.0 vertretene Ansatz geht über einfache Kostensenkungen durch Reduzierung der Modellkapazität hinaus – er konzentriert sich auf die optimale Übereinstimmung von Fähigkeiten und Aufgaben.
Einfache Kostensenkung bedeutet lediglich, teure Modelle durch günstigere zu ersetzen, was oft zu unzuverlässigen Ergebnissen führt. Die Fähigkeitsabstimmung zielt darauf ab, herauszufinden, welche Schritte unbedingt ein leistungsstarkes Modell erfordern, welche Schritte von einem leichten Modell erledigt werden können und welche Szenarien die Zusammenarbeit mehrerer Modelle erfordern. Es wird ein Gleichgewicht zwischen Kosten und Qualität angestrebt.
In diesem Kontext bedeutet Kostensenkung die Vermeidung unnötiger teurer Aufrufe. Komplexe Aufgaben müssen nicht ständig von einem einzelnen Flaggschiff-Modell abhängen. Bei guter Gestaltung von Modellkombinationen, Ausführungszuständen und Überprüfungsmechanismen kann eine Gruppe kostengünstigerer Modelle bei einigen Aufgaben ähnliche oder sogar bessere Ergebnisse erzielen.
Wenn die Nutzungskosten von Modellen durch Systemengineering reduziert werden können, erhalten Projekte, die zuvor als „nicht rentabel“ galten, eine neue Chance zur Bewertung. Die Nutzer interessieren sich möglicherweise nicht dafür, wie viele Modelle im Hintergrund aufgerufen werden oder wo ein einzelnes Modell in Benchmarks rangiert. Sie legen mehr Wert darauf, wie viele Aufgaben das System mit dem gleichen Budget zuverlässig erledigen kann, ob es nach Fehlern wiederhergestellt werden kann – und ob das Endergebnis geliefert wird.
Daher verlagert sich das Effizienzpotenzial der KI-Branche zunehmend von der Seite der Basismodelle hin zur Seite der Modellorganisation und der Ausführungsframeworks.
Die 100 Aufgaben in der DRACO-Bewertung sind nur ein Ausschnitt – sie können keine echten Produktionsumgebungen oder langfristige Überprüfungen ersetzen. Aber sie erinnern die Branche daran, dass komplexe Aufgaben nicht nur auf die „Wartezeit auf ein stärkeres Modell“ beschränkt sind. Die Organisation vorhandener Modelle präziser, zuverlässiger und kostengünstiger zu gestalten, ist ebenfalls ein lohnender Weg für Investitionen.