Jemand verbraucht monatlich 10.000 US-Dollar und hält Claude für zu teuer. Dieses Unternehmen wechselt zu GLM: Mit 56 B200-Chips werden 2000 Ingenieure unterstützt, sodass die KI-Kosten direkt um 90 % sinken.

Es gibt Menschen, die monatlich 10.000 US-Dollar für KI-gestützte Programmierung ausgeben – und dann schaut der Chef auf die Rechnung: Ist das Geld gut angelegt? Genau diese peinliche Situation erlebte einst das britische Fintech-Unternehmen Revolut.

Um ihren Ingenieuren den Einsatz von KI zu ermöglichen, probierte das Unternehmen nacheinander Gemini und Claude Code aus, aber einige Ingenieure verbrauchten monatlich schon 1.000 US-Dollar oder sogar 10.000 US-Dollar. Obwohl das Geld ausgegeben wurde, entsprach die Effizienzsteigerung nicht den Erwartungen. Daher traf Revolut eine mutige Entscheidung: Statt sich hauptsächlich auf kommerzielle Modelle für die KI-Programmierung zu verlassen, setzte es stattdessen das quelloffene Modell GLM von Zhipu selbst bereit.

Das Ergebnis ist erstaunlich: In weniger als einem Jahr sind die Kosten für die KI-Programmierinferenz um etwa 90 % gesunken, die Codierzeit von rund 2000 Ingenieuren im Unternehmen um 60 % verkürzt und die Lieferzeit von der Übernahme einer Anforderung bis zur Code-Zusammenführung um etwa 70 % reduziert!

Claude ist zu teuer! Einige Ingenieure verbrauchen monatlich 10.000 US-Dollar

Anfangs hatte Revolut eigentlich nicht vor, große Modelle selbst zu trainieren oder bereitzustellen.

Anfang 2025 begann das Unternehmen, Gemini einzusetzen, um Ingenieuren bei der Suche nach Informationen und dem Lesen technischer Dokumente zu helfen; Anfang 2026 wurde dann Claude Code eingeführt, um die Entwicklungseffizienz weiter zu steigern. Aber mit der Erweiterung des Einsatzumfangs wurden die Kosten schnell zu einem Problem.

David Abitbol, Leiter für Betrieb und Infrastruktur bei Revolut, enthüllte, dass einige Ingenieure monatlich bis zu 10.000 US-Dollar für KI-Dienste ausgeben, aber der tatsächliche Return on Investment ist kaum spürbar. Das Unternehmen musste daher strenge Token-Budgets festlegen, als es die KI-Programmierwerkzeuge verbreitete.

Daraus ergab sich ein neues Problem: Je teurer die Token sind, desto weniger trauen sich die Ingenieure, sie zu nutzen. Sie reservieren das begrenzte Kontingent für komplexe Codegenerierungsaufgaben, während sie bei Arbeiten wie dem Debuggen von Bugs, der Bearbeitung von Jira-Tickets oder der Organisation von Confluence-Dokumenten selbst dann abwägen, ob es sich lohnt, Token zu verbrauchen, wenn die KI helfen könnte.

Daher begann Revolut, nach günstigeren Alternativen zu suchen, und richtete schließlich den Blick auf die GLM-Modellreihe von Zhipu. Das Unternehmen nutzte zunächst GLM-5.1, aktualisierte dann auf GLM-5.3 und machte das selbst gehostete Modell zum Haupt-KI-Programmierdienst.

Der Kostenunterschied ist sehr deutlich: Nach den Daten von Abitbol betragen die kombinierten Kosten für Ein- und Ausgabe-Token des selbst gehosteten GLM-5.1 etwa 0,30 US-Dollar pro Million Token, was nur etwa einem Zehntel der Kosten von kommerziellen Diensten wie OpenAI Codex oder Anthropic Claude Code entspricht; die gesamten Inferenzausgaben sind ebenfalls auf etwa ein Zehntel der früheren Rechnungen für kommerzielle Dienste gesunken.

Da die Token günstiger geworden sind, haben sich die Nutzungsgewohnheiten der Ingenieure geändert. Abitbol erklärte, dass die Ingenieure, wenn die Token nicht mehr so teuer sind, nicht mehr sparen müssen, das Kontingent nicht bis zum Ende des Quartals aufsparen müssen und die KI nicht nur bei den schwierigsten Aufgaben aufrufen müssen – früher dachten die Ingenieure daran, wie sie Token sparen können, heute überlegen sie, welche weiteren Arbeiten sie der KI überlassen können.

Was den Entwicklungsfortschritt wirklich verlangsamt, ist möglicherweise überhaupt nicht das Schreiben von Code

Revolut teilte auch ein besonders bemerkenswertes Detail mit. Das Unternehmen hat zwei Kennzahlen für seine rund 2000 Ingenieure vor und nach dem Einsatz von KI erfasst:

Codierzeit: Die Zeit, die Ingenieure tatsächlich mit dem Schreiben von Code verbringen, gemessen in Stunden.

Lieferzeit: Die Zeit, die von der Übernahme einer Funktionsanforderung bis zur Zusammenführung des Codes und der Vorbereitung der Bereitstellung benötigt wird, gemessen in Tagen.

Die von Abitbol vorgelegten internen Daten zeigen, dass nach der Einführung von GLM die Codierzeit um etwa 60 % und die Lieferzeit um etwa 70 % verkürzt wurden. Er führt diese Verbesserungen aber nicht einfach darauf zurück, dass das Modell schneller Code schreibt: Seiner Meinung nach verbringen die Ingenieure täglich weit mehr Zeit mit anderen Dingen als nur dem Codieren.

Zum Beispiel das Auffinden von Bugs, das Beantworten von Nachrichten, die Bearbeitung von Jira-Tickets, das Aktualisieren von Confluence-Dokumenten und die Verfolgung verschiedener Entwicklungsabläufe. Diese Aufgaben scheinen nicht kompliziert zu sein, rauben aber den Ingenieuren Stück für Stück die Zeit, die sie eigentlich zum Schreiben von Code brauchen. Wenn die Kosten für den KI-Einsatz niedrig genug sind, können die Ingenieure auch diese verstreuten Aufgaben an intelligente Agenten übergeben, statt die KI nur beim Codieren zu nutzen.

Das ist auch der Grund, warum die Lieferzeit bei Revolut stärker gesunken ist als die Codierzeit: Schnelleres Schreiben von Code löst nur einen Teil der Probleme im Entwicklungsablauf; wenn die KI die lästigen Arbeiten außerhalb des Codes übernimmt, kann die gesamte Lieferzeit weiter verkürzt werden.

56 NVIDIA B200 unterstützen 2000 Ingenieure bei der Nutzung von KI

Es ist offensichtlich keine leichte Aufgabe, fast 2000 Ingenieure gleichzeitig ein selbst gehostetes großes Modell nutzen zu lassen.

Den Angaben zufolge hat das von Revolut gewählte GLM-5.1 insgesamt etwa 754 Milliarden Parameter, von denen bei der Generierung eines einzelnen Tokens tatsächlich etwa 40 Milliarden aktiviert werden. Selbst mit einer Architektur für gemischte Experten (MoE) erfordern die Modellgewichte und der Kontext-Cache noch eine große Menge an GPU-Videospeicher.

Nach Abitbols Schätzung werden allein etwa 380 GB Videospeicher für die Speicherung der Modellgewichte benötigt, und jeder Nutzer benötigt je nach Genauigkeitseinstellung zusätzlich etwa 6 GB bis 26 GB Videospeicher, um den Kontext zu pflegen. Um die skalierte Inferenz von GLM-5.3 zu unterstützen, hat Revolut schließlich 56 NVIDIA B200 GPUs bereitgestellt.

Abitbol ist aber nicht der Meinung, dass Leistungssteigerungen nur durch den Kauf weiterer Grafikkarten erreicht werden können.

Auf der AI Engineer Conference, die letzten Monat in New York stattfand, präsentierte Abitbol eine interessante Datenreihe: Bei gleichbleibender Anzahl von GPUs wurde nach der Optimierung des Inferenzsystems die Anzahl der pro Sekunde verarbeiteten Anfragen um 76 % gesteigert, und die Latenz des ersten Tokens sank von 14,26 Sekunden während der Migrationsphase auf 1,68 Sekunden nach stabilem Betrieb, was einem Rückgang von etwa 88 % entspricht.

Abitbol teilte mit, dass das Team in diesem Zeitraum hauptsächlich folgende Maßnahmen ergriffen hat:

Anpassung der Hyperparameter des Modells: Optimierung der Laufzeitkonfiguration des Modells entsprechend der tatsächlichen Geschäftsauslastung.

Einsatz der NVFP4-Quantisierung: Nutzung des von GPUs der Blackwell-Architektur unterstützten Niedrigpräzisions-Berechnungsverfahrens, um den Videospeicherverbrauch und den Rechenaufwand zu senken.

Trennung von Prefill und Decode: Trennung der Verarbeitung des Eingabekontexts von der nachfolgenden Token-Generierung, um verschiedene Rechenphasen gezielt zu optimieren.

Optimierung der Cache- und Konfigurations-Einstellungen: Vermeidung der Reservierung von zu viel Videospeicher für unnötig lange Kontexte.

Insbesondere bei dem letzten Punkt vertrat Abitbol eine sehr direkte Meinung.

Kontext mit einer Million Token ist ein Marketinggimmick? Revolut hält 256.000 für ausreichend

Heutzutage bemühen sich alle Hersteller großer Modelle, das Kontextfenster zu vergrößern, und Kontexte von einer Million Token oder länger sind bereits zu einem Verkaufsargument geworden. Aber Abitbol stimmt der einseitigen Verfolgung extrem langer Kontexte nicht zu:

Lange Kontexte sind ein Betrug (Long context is a scam). Selbst wenn Sie ein Kontextfenster von einer Million Token bereitstellen können, reichen in der Praxis bereits 256.000 Token völlig aus.

Warum? Weil je länger der Kontext ist, desto größer das KV-Cache (Key-Value-Cache) ist, das das Modell pflegen muss, und desto mehr Videospeicher der GPU wird belegt. Kurz gesagt: Der KV-Cache kann als temporärer Speicherbereich des Modells verstanden werden, der die Key- und Value-Tensoren im Aufmerksamkeitsmechanismus speichert. Auf diese Weise muss das Modell bei der weiteren Generierung von Inhalten nicht bereits verarbeitete Informationen wiederholt berechnen.

Wenn Ingenieure tatsächlich nur einen Kontext von einigen zehntausend Token benötigen, das Unternehmen aber für jede Anfrage die Ressourcen reserviert, die für einen Kontext von einer Million Token erforderlich sind, führt das offensichtlich zu Verschwendung. Daher konzentriert sich Revolut stärker darauf, wie lang der Kontext für die tatsächlichen Aufgaben sein muss und ob der Cache effektiv wiederverwendet werden kann.

Das Team stellte außerdem fest, dass die Konfiguration der Tensor-Parallelität entscheidend ist: Wenn die Modellgewichte auf 4 GPUs verteilt werden, passt das Modell zwar hinein, aber es bleibt möglicherweise nicht genug Platz für den KV-Cache übrig; mit 8-facher Tensor-Parallelität lässt sich manchmal eine bessere Gesamtleistung erzielen.

Nach einer Reihe von Optimierungen hat Revolut die Latenz des ersten Tokens inzwischen auf unter 3 Sekunden kontrolliert, und die Generierungsgeschwindigkeit liegt bei etwa 200 Token pro Sekunde. Abitbol scherzte sogar: Wenn die Latenz des ersten Tokens über 5 Sekunden steigt, wird sein Slack-Posteingang sofort von Beschwerden überflutet.

Was die Generierungsgeschwindigkeit betrifft, so ist Abitbol der Meinung, dass 200 Token pro Sekunde bereits ausreichen. Heutzutage sind die Ingenieure es gewohnt, mehrere KI-Aufgaben gleichzeitig zu starten und nach Abschluss der Aufgaben zurückzukehren, um die Ergebnisse zu prüfen, anstatt ständig zuzusehen, wie das Modell Wort für Wort ausgibt – er teilte noch ein interessantes Detail mit: Bei Ingenieuren, die nach 17 Uhr angemeldet sind, erreicht die Generierungsgeschwindigkeit sogar fast 800 Token pro Sekunde.

GLM soll nicht alles übernehmen, visuelle Aufgaben werden weiterhin GPT und Gemini überlassen

Obwohl GLM-5.3 zum Haupt-KI-Programmiermodell geworden ist, plant Revolut nicht, kommerzielle Modelle wie Claude oder GPT vollständig abzuschaffen – der Grund ist einfach: Verschiedene Modelle haben ihre jeweiligen Stärken.

Zum Beispiel müssen Ingenieure bei der Entwicklung von Benutzeroberflächen häufig Screenshots von Seiten von der KI lesen lassen, das Oberflächenlayout erkennen lassen und dann den Code entsprechend dem visuellen Effekt anpassen. Bei diesen Aufgaben entsprechen die Leistungen von Gemini und GPT eher den Erwartungen von Revolut. Zu diesem Zweck hat Revolut einen Model Router eingeführt, der die Modelle automatisch je nach Aufgabe zuweist:

Aufgaben wie Codegenerierung und Textverarbeitung werden vorrangig an das selbst gehostete GLM übergeben.

Aufgaben wie Bilderkennung und visuelles Verständnis werden an kommerzielle Modelle wie Gemini und GPT übergeben.

Zu diesem Konzept sagte Abitbol: „Open Source ist inzwischen zu einer Priorität bei Revolut geworden, und aus wirtschaftlicher Sicht hat unsere Lösung große Vorteile. Heutzutage ist die Rechnung festgelegt, und wir erhalten keine plötzliche riesige Rechnung am Ende des Monats. Spitzenmodelle sind inzwischen die Ausnahme.“

Allerdings kann der Weg von Revolut nicht von allen Unternehmen kopiert werden. Die Hardware-Investition in 56 B200, die Modellbereitstellung, die Inferenzoptimierung und der laufende Betrieb sind keine geringen Ausgaben – und ob die eingesparten API-Rechnungen die Kosten für GPUs und Betrieb tatsächlich decken können, ist der Punkt, bei dem es sich am meisten lohnt, die Rechnung genau nachzurechnen.

Referenzlink: https://www.theregister.com/ai-and-ml/2026/11/03/british-fintech-revolut-slashes-ai-coding-costs-10x-by-cutting-out-claude-and-going-self-hosted/5307345

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „CSDN“, zusammengestellt von Zheng Liyuan, veröffentlicht mit Genehmigung von 36Kr.