Das Modell ist völlig identisch, aber der Token-Verbrauch unterscheidet sich um das 70-fache? Drei praktische Tests enthüllen das Kostenloch von KI-Programmierwerkzeugen.

Wenn Teams die Kosten von AI-Codierungsagenten bewerten, werfen sie oft einen genauen Blick auf die Modelle. Drei kürzlich durchgeführte Benchmark-Tests zeigen jedoch, dass das Agenten-Framework – also die Software, die das Modell bei der Ausführung von Aufgaben anleitet – möglicherweise ebenso wichtig ist.

Jeder Web-Entwickler kennt den Grund dafür: Jede Inferenzanfrage erfordert einen Kontext. Der relevante Verlauf muss entweder erneut bereitgestellt oder vom Dienstsystem neu erstellt werden. Daher verarbeiten Anbieter in jeder Runde eine große Menge überlappender Texte, einschließlich der Systemprompts und Werkzeugbeschreibungen des Agenten-Frameworks.

Diesen Juni verglich ein unabhängiger Benchmark-Test 12 Konfigurationen mit zwei Modellen bei denselben 12 Python-Aufgaben. Im August verglich Composio acht Agenten-Frameworks, die DeepSeek V4 Flash zur Ausführung von 30 Unternehmensworkflows verwendeten. Inzwischen verfolgt Artificial Analysis die Kombinationen aus Agenten-Frameworks und Modellen kontinuierlich über seinen Code-Agenten-Index.

Was die drei Benchmark-Tests messen

Composio veröffentlichte 30 Workflows, die Airtable, Gmail, Google Calendar, Google Sheets, GitHub, Slack und PostHog abdecken. Die maximale Laufzeit für jede Aufgabe betrug 900 Sekunden. Die Ergebnisse wurden von einem programmatischen Prüfwerkzeug und nicht von einem Large Language Model als Schiedsrichter bewertet. Der Test verwendete isolierte feste Daten, in denen Störelemente und fast identische Schlüssel voreingestellt waren.

Composio berichtete über 240 Aufgabenausführungen, von denen 129 den Workflow erfolgreich abschlossen. Die Kosten für jede erfolgreich abgeschlossene Aufgabe reichten von 0,028 USD bei Pi Agent bis zu 0,195 USD bei Claude Code. Die Erfolgsquote von DeepAgents war identisch mit der von Claude Code, aber die Kosten pro erfolgreicher Ausführung betrugen nur ein Viertel des letzteren.

Dieses kontrollierte Experiment ist nicht perfekt, und Composio hat dies transparent offengelegt. Pi verwendete unterschiedliche Inferenzeinstellungen, wenn es über zwei Modellanbieter ausgeführt wurde, und nur 24 der 30 Läufe von Prime Agent konnten bewertet werden. Diese Einschränkungen bedeuten, dass es nicht als streng kontrolliertes Ein-Variablen-Experiment bezeichnet werden kann.

Der Benchmark-Test im Juni maß Token statt Dollar und hatte einen breiteren Geltungsbereich. Die Autoren berichteten über die Laufergebnisse von Aider, Claude Code, Codex, Goose, Hermes, Kilo, Kimi Code, Nanobot, OpenClaw, Opencode und Qwen Code, wobei der Architekt-Modus von Aider als separate Konfiguration gezählt wurde. Alle 12 Konfigurationen führten dieselben Aufgaben über OpenRouter aus, sodass jedes Agenten-Framework dieselbe API und dasselbe Modell verwendete.

Die Testsuite wurde zuerst auf DeepSeek V4 Flash und dann auf Nvidias Nemotron 3 Ultra ausgeführt. Das zweite Modell bietet auf OpenRouter ein kostenloses Kontingent, sodass Sie diesen Test kostenlos erneut ausführen können.

Der Artikel berichtet, dass die Anzahl der Token, die zur Lösung jeder Aufgabe verbraucht werden, von etwa 3500 bei Aider im Architekt-Modus bis zu 292.000 bei OpenClaw reicht. Dieser Bereich ist aufschlussreich, weil er sehr stabil ist: Zwischen zwei völlig unabhängigen Modellen gab es kaum Änderungen in der Rangfolge. Dies zeigt, dass die Unterschiede von der Agenten-Framework-Software und nicht vom Verhalten des Modells herrühren.

Artificial Analysis untersuchte dasselbe Problem mit einer größeren statistischen Stichprobe. Artificial Analysis veröffentlichte einen umfassenden Index, der DeepSWE, Terminal-Bench v2.1 des Laude Institute und SWE-Atlas-QnA von Scale AI abdeckt. Insgesamt umfasst er 326 Aufgaben, wobei jede Aufgabe dreimal ausgeführt und die durchschnittliche Erfolgsquote ermittelt wird. Er meldet die Kosten pro Aufgabe, den Token-Verbrauch und die Ausführungszeit für jede Kombination. Darüber hinaus veröffentlichte er einen kontrollierten Vergleich, bei dem unter der festen Verwendung von Claude Opus 4.7 jeweils Claude Code, Cursor CLI und Opencode kombiniert wurden.

Die Startsteuer

Letztendlich stammt diese Lücke aus einem Indikator des Benchmark-Tests im Juni: der Startsteuer. Bevor der Prompt mit der Verarbeitung irgendeiner Aufgabe beginnt, sendet das Agenten-Framework zunächst seine eigene Last. Diese Last umfasst Systemprompts, Werkzeugbeschreibungen und Umgebungseinstellungen. Der Benchmark-Test berichtet, dass dieser Wert bei Aider im Architekt-Modus etwa 700 Token und bei OpenClaw etwa 26.000 Token beträgt.

Wenn dieser 40-fache Overhead nur einmal zu zahlen wäre, wäre er akzeptabel, aber das wiederholte Senden ändert dies. Die Autoren weisen darauf hin, dass ein Agenten-Framework, das mindestens 26.000 Token pro Runde trägt und 15 Runden lang läuft, etwa 390.000 Eingabetoken allein für das Grundgerüst verbraucht.

Diese Berechnung hat sich im Test als zutreffend erwiesen. Die Startsteuer multipliziert mit der Anzahl der Runden kann den Token-Verbrauch jeder gelösten Aufgabe vorhersagen, mit einem Bestimmtheitsmaß R² von 0,99 bei beiden Modellen. Entwickler, die ihre Ausgaben für Agenten senken möchten, sollten sich zuerst auf den minimalen Overhead von Prompts und die Anzahl der Runden konzentrieren, bevor sie komplexere Optimierungen in Betracht ziehen.

Diese Regressionsgrafik erfordert eine Anmerkung. Im Benchmark-Test im Juni wurde jede Kombination aus Agenten-Framework, Aufgabe und Modell nur einmal ausgeführt, sodass keine Varianzschätzung vorliegt – während die Ausführung von Agenten zufallsbedingt ist. In dieser Hinsicht sind die Ergebnisse von Artificial Analysis gewichtiger, da sie 326 Aufgaben jeweils dreimal ausführen und den Durchschnitt bilden. Die durch den Test im Juni gefundene Overhead kann als Beweis für seinen Wirkmechanismus angesehen werden, während der größere Index ein zuverlässigeres Messwerkzeug ist, wenn man Kombinationen im aktuellen Produktionsmaßstab vergleicht.

Teure Agenten-Frameworks horten nicht den Kontext, sie tragen nur einen höheren Grundoverhead.

Überraschenderweise können einige Faktoren diese Lücke nicht erklären. Der Kontext aller Agenten-Frameworks wächst mit einer ähnlichen Geschwindigkeit und nimmt um mehrere hundert Token pro Runde zu, sodass die Wachstumsgeschwindigkeit nicht der Grund für die Unterschiede ist. Teure Agenten-Frameworks horten nicht den Kontext, sie tragen nur einen höheren Grundoverhead.

Token-Cache schreibt die Rangliste neu

Zwei Experimente mit Agenten-Frameworks ergaben einen zweiten gemeinsamen Mechanismus, den auch Artificial Analysis in seiner Methodik als wesentlichen Faktor betrachtet. Er ist auch der Faktor, den Plattformteams am häufigsten falsch einschätzen.

Composio gab bekannt, dass nur 1,5 % der Eingabetoken von Claude Code aus dem Cache stammen, während dieser Wert bei Codex etwa 70 % und bei OMP etwa 57 % beträgt. Die Kosten für neue Eingaben sind etwa fünfmal so hoch wie für zwischengespeicherte Eingaben. Daher ist der Token-Verbrauch von Claude Code vergleichbar mit dem der Konkurrenten, aber die Rechnung ist es nicht.

Der Benchmark-Test im Juni fand in seiner eigenen Testumgebung eine ähnliche Asymmetrie. Bei der Ausführung auf DeepSeek berechnete Codex mehr als 1 Million Token für die gesamte Testsuite. 77 % davon waren Cache-Lesevorgänge, die zu etwa einem Zehntel des regulären Preises berechnet wurden. Nach der Berechnung nach der Abrechnungsweise der tatsächlichen Kosten war die Kosten von Codex pro gelöster Aufgabe niedriger als die von Claude Code, obwohl letzteres nur die Hälfte der ursprünglichen Token verbrauchte.

Die Autoren sind der Ansicht, dass der nahezu null liegende Cache-Anteil von Claude Code aus dem Dienstpfad stammt und nicht aus seinen Prompts. In dieser Testumgebung war Claude Code das einzige Agenten-Framework, das über einen Nachrichten-Endpunkt im Anthropic-Stil mit OpenRouter kommunizierte. Die Umwandlung dieses Protokollformats durch das Gateway scheint die Cache-Trefferquote verringert zu haben, während derselbe Datenverkehr über einen Endpunkt im OpenAI-Stil eine höhere Trefferquote erzielt hätte. Das Verhalten des Gateways kann sich ändern, daher sollte es als ein tatsächlich beobachteter Pfad betrachtet werden.

Artificial Analysis hat dies nicht im Test entdeckt, sondern diese Annahme direkt in das Kostenmodell aufgenommen. Es weist die Nutzer darauf hin, dass die Trefferquote von Prompt-Caches stark von der Art und Weise abweicht, wie Anbieter den Datenverkehr routen. Sein Kostenmodell berechnet die Preise für Cache-Eingaben und Cache-Schreibvorgänge getrennt, anstatt alle Prompt-Token zum ungespeicherten Tarif zu berechnen. Ein Benchmark-Test, der die Kosten für Cache-Schreibvorgänge separat abrechnen muss, zeigt bereits, dass der Einfluss des Dienstpfads auf die Kosten nicht ignoriert werden kann.

Wofür werden die Kosten schwergewichtiger Agenten-Frameworks ausgegeben?

Die Erklärung der Kostenlücke bedeutet nicht, dass das billigste Agenten-Framework automatisch die beste Wahl ist. Der Zyklus des Agenten – Anzeigen, Bearbeiten, Prüfen, Wiederholen – erhöht die Kosten. Er eignet sich am besten für die Verarbeitung unbekannter Codes, fehlgeschlagener Tests und Änderungen, die sich über mehrere Dateien erstrecken. Bei kleineren, klar beschriebenen Bearbeitungsaufgaben bestätigt dieser Zyklus meist nur wiederholt Dinge, die ein einziger Aufruf bereits direkt voraussetzen könnte.

Aber die Ergebnisse der Tests für schwierige Aufgaben entwickelten sich nicht so, wie es das Argument über den Overhead des Grundgerüsts vorhersagte. Vier Agenten-Frameworks mit stark unterschiedlichen Kosten wurden unter großzügigen Einschränkungen bei zehn SWE-bench Lite-Aufgaben ausgeführt, und alle vier lösten am Ende nur dieselbe Aufgabe. Die Autoren berichteten, dass Aider 800.000 Token verbrauchte, während Codex 15 Millionen Token verbrauchte. Das Ausführen von zehn Aufgaben auf nur einem Modell reicht offensichtlich nicht aus, um weitreichende Verallgemeinerungen zu stützen, daher sollte dieses Ergebnis als Hinweis betrachtet werden.

In Bezug auf die Qualität muss die Aussage „Das Agenten-Framework bestimmt den Preis“ eingeschränkt werden, da diese Benchmark-Tests keine Gleichsetzung der beiden unterstützen. Composio berichtete über die Erfolgsquoten von acht Agenten-Frameworks, die von 46,7 % bei OpenCode bis 66,7 % bei Pi Agent reichen – eine Differenz von 20 Prozentpunkten bei demselben Modell. Artificial Analysis veröffentlichte ähnliche Lücken in einem größeren Aufgabensatz. Die Wahl des Agenten-Frameworks kann die Kosten um ein Mehrfaches unterscheiden und die Erfolgsquote von Aufgaben um mehrere Prozentpunkte unterscheiden. Der Unterschied liegt im Ausmaß des Einflusses, nicht in seiner Richtung.

Was sollten Plattformteams messen?

Unternehmen stellen bereits fest, dass der Besitz eines eigenen Agenten-Frameworks das Kostenproblem nicht vollständig löst. Selbst wenn Teams ihren eigenen Codierungsagenten erstellen, müssen sie immer noch für die zugrunde liegende Inferenz bezahlen. Die Kostenkontrolle hat sich von Modellverträgen auf die Plattformebene verlagert.

Kosten pro erfolgreicher Aufgabe, nicht Kosten pro Aufgabe

Wenn Sie Erfolgsquote und Token-Anzahl getrennt betrachten, erhalten Sie eine falsche Rangfolge der Agenten-Frameworks. Claude Code und DeepAgency haben die gleiche Anzahl von Composio-Workflows abgeschlossen, aber die Kosten von Claude Code pro erfolgreicher Ausführung sind mehr als viermal so hoch. Beschaffungsteams sollten verlangen, die Kosten pro überprüftem Ergebnis anzuzeigen, und Vergleiche ablehnen, die ausschließlich auf Token basieren.

Cache-Anteil im tatsächlichen Dienstpfad

Der Cache-Rabatt ist nicht nur eine Eigenschaft des Agenten-Frameworks selbst. Er hängt vom Endpunkt-Protokoll, dem Gateway und dem Anbieter ab.

Plattformteams können den Cache-Anteil in ihrem tatsächlichen Datenverkehr an einem Nachmittag überprüfen, und diese Arbeit ist wertvoller als die Migration von Modellen.

Prompt-Treue unter Last

Der Benchmark-Test im Juni hat vor jeder Aufgabe 100.000 Token irrelevanter Protokollgeräusche eingefügt und fünf verschiedene Verhaltensweisen gemeldet. Von den 12 Konfigurationen übertrugen sieben die Prompts vollständig. Kilo und Opencode verworfen 83 % bis 89 % des Inhalts, meldeten aber trotzdem Erfolg.

Die Gefahr des stillschweigenden Abschneidens liegt darin, dass es vom Ausgang des Agenten-Frameworks nicht von einer erfolgreichen Ausführung zu unterscheiden ist.

OpenClaw weigerte sich zu laufen, Kimi Code stürzte ab, und Claude Code sendete den gesamten Inhalt, zeigte aber danach eine schlechte Leistung. Stillschweigendes Abschneiden ist sehr gefährlich, weil es im Ausgang des Agenten-Frameworks genau wie Erfolg aussieht.

Was kommt als Nächstes?

Anthropic, OpenAI, Google und Microsoft haben sich bei den Abrechnungsmodellen auf der Ebene der Agenten-Frameworks in unterschiedliche Richtungen entwickelt. Anschließend veröffentlichte DeepSeek seinen eigenen Runtime unter der MIT-Lizenz und erlaubt den Austausch jeder einzelnen Komponente. Heute können Entwickler verschiedene Kombinationen aus Agenten-Frameworks und Modellen über einen offenen und kontinuierlich aktualisierten Index vergleichen. Genau das ist die Voraussetzung, unter der die Modellpreise in Frage gestellt werden.

Für Unternehmen, die in diesem Quartal ihre Agenten-Plattform vereinheitlichen möchten, verdient das Agenten-Framework die gleiche strenge Prüfung wie die Modelle. Diese Experimente zeigen, dass bei im Wesentlichen unveränderten Modellen der bloße Austausch des Agenten-Frameworks zu Kostenunterschieden führen kann, die mit denen von unterschiedlichen Modellpreisen vergleichbar sind. Entwickler, Plattformteams und Finanzverantwortliche haben endlich nachprüfbare Grundlagen, um über dieses Thema zu diskutieren – etwas, das vor drei Monaten bei Diskussionen über Agenten-Frameworks noch fehlte.

Link zum Originaltext:

https://thenewstack.io/agent-harness-token-costs/

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „InfoQ“, Autor: Janakiram MSV, Übersetzung: Tian Cheng, veröffentlicht mit Genehmigung von 36Kr.