Gerade will OpenAI allen zahlenden Nutzern von Codex und ChatGPT Work eine kollektive Rückerstattung zukommen lassen.

Redaktion｜Sia  

Gerade als der CEO von Cursor, Michael Truell, enthüllte, dass OpenAI plant, Cursor-Nutzer in drei Monaten den weiteren Zugriff auf seine Modelle zu verwehren und die Beziehungen zwischen den beiden Seiten plötzlich angespannt sind, hat OpenAI Codex plötzlich eine neue Maßnahme ergriffen.

Gerade jetzt haben diese zahlenden Nutzer plötzlich eine Rückstellung von Nutzungsguthaben erhalten – Tibo, der Leiter von Codex, hat in einem Tweet angekündigt, die Nutzungsguthaben für alle zahlenden Nutzer von Codex und ChatGPT Work zurückzusetzen.

Diesmal handelt es sich nicht einfach darum, willkürlich ein paar zusätzliche Guthaben zu schenken.

Tibo erklärte, dass sie in letzter Zeit Tausende von Nutzerfeedbacks bearbeitet und den zugrunde liegenden Nutzungsberechnungsmechanismus von Codex fast vollständig überarbeitet haben. Es stellte sich heraus, dass das Gefühl der Nutzer, dass das Guthaben so schnell aufgebraucht wird, nicht gänzlich eine Einbildung war.

Nachdem eine Reihe von Fehlern behoben wurden, erwarten sie je nach Nutzungsart: Dasselbe Codex-Nutzungsguthaben hält jetzt 10 % bis 50 % länger als zuvor. Die Zahl des Guthabens hat sich möglicherweise nicht geändert, aber die Menge an Arbeit, die damit erledigt werden kann, ist gestiegen.

Die veröffentlichte Fehlerliste kann fast als ein „Handbuch dafür, wie AI Agents heimlich Token verbrauchen“ bezeichnet werden. Einige dieser Fehler wirken unbedeutend, verbrauchen das Guthaben aber sehr rasant.

Eine einzelne Aufgabe kann bis zu 70 % des wöchentlichen Guthabens verbrauchen

OpenAI hat auf einen Schlag 8 Arten von bereits entdeckten und behobenen Problemen aufgelistet.

Das erste Problem ist die Kontextkompression. Wenn ein KI-Programmierungstool lange läuft, wird der Kontext immer größer. Das System komprimiert normalerweise historische Informationen, um die Arbeit fortsetzen zu können.

Das Problem bestand darin, dass Codex bei der vorherigen Kontextkompression alte Bilder im Kontext belassen hat. Obwohl die Kompression dazu gedacht war, den Kontext zu verkleinern, blieben die alten Bilder erhalten, sodass der Kontext immer noch sehr groß war – so groß, dass sofort eine weitere Kompression ausgelöst werden konnte.

Daraus entstand eine fast absurde Situation: Die Kompression, die dazu gedacht war, Kontext zu sparen, verbrachte selbst mehr Kontext. Nachdem OpenAI dieses Problem behoben hat, ist der entsprechende Nutzungsverbrauch bei Nutzern, die viele Bilder verwenden, um etwa 10 % gesunken.

Aber das ist noch nicht das Extremste. Der eigentliche Guthaben-Killer stammt aus dem Aufgaben-Zielmechanismus (Goals) von Codex.

OpenAI stellte fest, dass in einigen Fällen der Agent nicht wie erwartet stoppt, auch wenn die von dem Nutzer festgelegte /goal vollständig ausgeführt wurde, sondern weiterläuft.

In anderen Fällen funktioniert das Tool bereits nicht mehr, aber das Modell versucht trotzdem immer wieder, es neu zu starten. Die Aufgabe scheint abgeschlossen zu sein, aber die KI arbeitet im Hintergrund immer wieder weiter.

Laut OpenAI haben sie in einigen Fällen gesehen, dass allein dieses Problem 15 % bis 70 % des wöchentlichen Guthabens eines Nutzers verbrauchen kann. Das heißt, unter extremen Umständen kann eine einzelne fehlerhafte Aufgabe bis zu 70 % des wöchentlichen Guthabens aufzehren. Dieses Problem ist inzwischen ebenfalls behoben.

Ein Hintergrundtask wäre fast 15000 Mal ausgeführt worden

Ein weiteres Problem trat bei Memory, dem Gedächtnissystem, auf.

Der Hintergrundprozess Memory Worker von Codex erbte in einigen Fällen bestimmte Stop-Hooks. Eigentlich sind Stop-Hooks dazu gedacht, zu steuern, wann eine Aufgabe beendet wird. Als der Fehler auftrat, erfüllten einige Hintergrundaufgaben die Stoppbedingungen nicht mehr und liefen unbegrenzt weiter.

Dieses Problem betraf weniger als 1 % der Nutzer. Aber die Langzeitfälle sind extrem auffällig. OpenAI erwähnte, dass sie sogar einen Fall entdeckt haben, in dem die Aktion, mit der das System prüft, ob eine Aufgabe beendet werden kann, bis zu 15000 Mal ausgeführt wurde.

Für die meisten Nutzer ist dieser Fehler möglicherweise völlig unbemerkt geblieben. Aber für die betroffenen Nutzer konnten die Token im Hintergrund leise verschwinden. Das fühlt sich ungefähr so an, als würde der Lüfter des Computers plötzlich auf Hochtouren laufen, obwohl kein Programm geöffnet ist.

Subagents können auch heimlich ihre Konfiguration hochstufen

Ein weiteres für das KI-Agenten-Zeitalter typisches Problem betrifft Subagenten.

Das aktuelle Codex erledigt Aufgaben nicht unbedingt nur mit einem einzigen Modell. Komplexe Aufgaben können aufgeteilt werden, und dann können mehrere Subagenten zur gemeinsamen Ausführung aufgerufen werden. Genau da liegt das Problem.

OpenAI stellte fest, dass einige Modelle mit geringeren Fähigkeiten, wie zum Beispiel Luna, manchmal ohne ausdrückliche Anforderung des Nutzers selbst wählen, Hilfsmodelle mit stärkeren Fähigkeiten und höheren Kosten zu verwenden.

Noch absurder: Selbst wenn das Hauptmodell, das die Aufgabe koordiniert, nicht im /fast-Modus läuft, kann es verlangen, dass die untergeordneten Subagenten /fast verwenden.

Das ist so, als würde der Chef in der Economy-Klasse fliegen, aber heimlich Business-Class-Tickets für seine Assistenten kaufen. Die Aufgabe bleibt natürlich dieselbe, aber der Ressourcenverbrauch dahinter ist völlig anders. Dieses Problem ist inzwischen ebenfalls behoben.

Automatisierte Aufgaben, die eigentlich einmal am Tag laufen sollen, können heimlich mehrmals ausgeführt werden

Auch bei Automations wurden Probleme entdeckt.

Laut OpenAI traten bei einigen benutzerdefinierten Planungsaufgaben zuvor Fehler auf: Die tatsächliche Ausführungshäufigkeit war höher als die von dem Nutzer eingestellte Häufigkeit. Zum Beispiel wollte der Nutzer ursprünglich, dass eine bestimmte automatisierte Aufgabe regelmäßig ausgeführt wird, aber das System weckt die Aufgabe häufiger als festgelegt auf.

Einzeln betrachtet ist das nicht viel, aber die Eigenschaft von Agenten ist genau diese: Sie können ohne Benutzereingriff selbstständig laufen. Einmal ausführen ist nicht teuer. Aber wenn sie Dutzende Male mehr laufen, summiert sich das. Dieses Problem ist inzwischen ebenfalls behoben.

Allein das Zusammenfassen der erledigten Arbeit kann 20 % des wöchentlichen Guthabens verbrauchen

Ein weiteres typisches Problem stammt von Computer History.

Damit der Agent versteht, was er zuvor auf dem Computer getan hat, muss das System vergangene Operationshistorien speichern, ordnen und sogar zusammenfassen. In der alten Version der Implementierung konnte Codex jedoch hoch überlappende historische Aktivitäten wiederholt zusammenfassen. Das entspricht derselben Arbeitsaufzeichnung, die immer wieder neu geordnet wird.

Laut OpenAI kann dieser zusätzliche Overhead in einigen Fällen etwa ein Fünftel des gesamten wöchentlichen Nutzungsverbrauchs des Nutzers ausmachen, also rund 20 %.

Ein weiterer ähnlicher Hintergrundverbrauch stammt von Rolling Task Summaries. Selbst normale Dialogrunden konnten zusätzliche Hintergrundanforderungen auslösen, um fortlaufende Aufgabenübersichten zu generieren.

Der einzelne Overhead ist nicht groß, OpenAI schätzt, dass er etwa 1 % des Token-Verbrauchs ausmacht. Aber wie gesagt: 1 % einmalig ist nicht viel, aber wenn es bei jeder Aktion auftritt, summiert es sich. OpenAI hat diesen Mechanismus inzwischen vollständig deaktiviert.

Auch MCP blieb nicht verschont: Dasselbe Tool-Ergebnis konnte zweimal kodiert werden

Die letzte Kategorie von Problemen trat bei MCP-Toolaufrufen auf.

OpenAI stellte fest, dass die von einigen Tools zurückgegebenen Ergebnisse möglicherweise zweimal hintereinander kodiert wurden. Außerdem wurden einige Toolbeschreibungen versehentlich abgeschnitten, sodass das System sie später noch einmal abrufen musste.

Einzeln betrachtet sehen diese Probleme wie kleine Fehler in der technischen Umsetzung aus. Aber wenn ein Agent an einem Tag Dutzende, Hunderte oder sogar noch mehr Tools aufruft, bedeutet jede wiederholte Übertragung echten Token-Verbrauch. Wenn sich das summiert, wirkt sich das letztendlich auf das Guthaben des Nutzers aus.

Eine immer schwieriger zu berechnende Rechnung

Wenn man alle diese behobenen Probleme zusammen betrachtet, ist eine deutliche Veränderung zu erkennen: Bei der früheren Nutzung von ChatGPT konnten Nutzer einen einzelnen Dialog im Grunde als einen einzelnen Modellaufruf verstehen.

Aber bei Agentenprodukten wie Codex ist die Situation völlig anders geworden.

Du gibst nur einen Satz in die Oberfläche ein, aber das System sieht möglicherweise einen ganzen Arbeitsablauf des Agenten. Wie viel Guthaben tatsächlich verbraucht wird, wird immer schwerer intuitiv nachvollziehbar.

Einige Token werden tatsächlich vom Modell verwendet, um Code zu schreiben. Einige Token dienen dazu, den Kontext zu verstehen. Und wieder andere Token entstehen nur dadurch, dass das Hintergrundsystem das Gedächtnis pflegt, Übersichten generiert oder Agenten plant. Wenn in irgendeinem dieser Schritte eine Schleife, ein wiederholter Aufruf oder eine fehlerhafte Planung auftritt, bemerken die Nutzer am Ende nur eines: Warum ist das Guthaben schon aufgebraucht, obwohl ich fast nichts getan habe?

OpenAI ist sich dieses Problems offensichtlich bewusst. Neben der Behebung der oben genannten Fehler haben sie erklärt, dass sie auch Anpassungen auf Architekturebene vorgenommen haben, um ähnliche Probleme in Zukunft zu vermeiden. Wenn solche Anomalien erneut auftreten, erhält das Team automatisch eine Warnung.

Noch wichtiger ist, dass OpenAI eine neue Funktion zur Anzeige des Nutzungsverbrauchs entwickelt. In Zukunft können Nutzer direkt in der App sehen, wofür ihr Guthaben ausgegeben wurde, statt es erraten zu müssen.

Aus dieser Perspektive ist die diesmalige Guthabenzurücksetzung möglicherweise nur ein oberflächlicher Vorteil. Und anscheinend hat OpenAI nicht vor, hier aufzuhören.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Ji Qi Zhi Xin“ (ID: almosthuman2014), Autor: Fokus auf wissenschaftliche KI, veröffentlicht mit Genehmigung von 36Kr.