Die Kraft des Routings: Wer kann im Long-Tail-Spiel der KI alles für sich gewinnen?

Shen Translation Bureau ist das Übersetzungsteam unter 36Kr, das sich auf Bereiche wie Technologie, Wirtschaft, Arbeitswelt und Leben konzentriert und vor allem neue Technologien, neue Ansichten und neue Trends aus dem Ausland vorstellt.

Anmerkung des Herausgebers: "Aufbau eines eigenen exklusiven KI-Modells" ist womöglich nur eine selbstbezogene Unterhaltung. Simulationsdaten zeigen, dass die Verarbeitung von Erfahrungen, die Konkurrenten bei der Bewältigung von Problemen gesammelt haben, bessere Ergebnisse liefert als private Daten. Zentralisierte Routing-Plattformen gestalten derzeit die Verteilung von Rechenleistung neu. Der Artikel stammt aus einer Übersetzung.

Anfang dieses Monats stimmte Stripe zu, OpenRouter für 7,5 Milliarden US-Dollar zu erwerben.

Dies löste eine Welle intensiver Kommentare aus. Sam Lessin von Slow Ventures sagte unverblümt:

OpenRouter hat keinerlei technischen Gehalt, es ist lediglich ein Zwischenhafen für API-Schlüssel mit ausgezeichneten Marketingmaßnahmen.

Und @patrickmandia äußerte sich wie folgt:

Die Welle von Routern, die in den letzten Wochen aufgetaucht ist, verwirrt mich. Jedes moderne Unternehmen auf der Anwendungsebene wird sich selbst zu einem Router entwickeln. Das ist die Grundlage ihres Überlebens, und sie werden es niemals an ein anderes Unternehmen auslagern.

Ich habe intuitiv das Gefühl, dass Sam und Patrick das Wesen der Sache überhaupt nicht verstanden haben. Ich bin in letzter Zeit zunehmend überzeugt, dass das "Preisgestaltung nach Ergebnissen" (Outcomes Pricing) am besten auf der Router-Ebene Fuß fassen kann (je nach Marktstruktur der Rechenleistung kann es sich auch auf der Modellebene befinden), nicht auf der Anwendungsebene. Wenn diese Annahme zutrifft, ist es nur folgerichtig, dass die Marktmacht über die Preisgestaltung, die die Router beherrschen, der Logik der Marktmonopolisierung im System der digitalen Werbetechnologie (Ad-Tech) folgt.

Die Preisgestaltung nach Ergebnissen gehört zur Infrastrukturebene

Vor zehn Monaten habe ich einen Artikel verfasst, in dem ich das Modell der Preisgestaltung nach Ergebnissen auf der Anwendungsebene kritisiert habe. Ich hielt ihre Analogie zur Werbetechnologie für sehr dumm – im Bereich der Werbetechnologie verkauft man knappe Aufmerksamkeit der Nutzer, während maschinelle Intelligenz bald zu einer öffentlichen Ressource werden wird, die "so billig ist, dass man sie nicht messen kann". Ich war der Meinung, dass die Preisgestaltung für die Lieferung von Ergebnissen durch Marktmechanismen bestimmt werden sollte (beispielsweise abhängig von der Verfügbarkeit von Rechenleistung), nicht durch einen festen Stückpreis, der in einem Jahresvertrag festgelegt wird, nachdem man sich höflich mit ehemaligen Führungskräften von Google und Salesforce, Brett Taylor, ausgetauscht hat.

Damals hatte ich bereits das Gefühl, dass im Gegensatz zu der von Sierra dargelegten Vision die Interessen der Anwendungsebene nicht mit denen ihrer Kunden übereinstimmen. Da die Anwendungsebene tiefere Einblicke in die Fähigkeiten von Agenten (Agenten) zur Lösung von Kundenproblemen gewinnt und gleichzeitig die Grundmodelle immer besser und günstiger werden, gibt es für die Kunden keinen offensichtlichen Mechanismus, um diese Effizienzdividende zu teilen. Der gesamte überschüssige Mehrwert verbleibt vollständig auf der Anwendungsebene. Aufgrund der potenziell hohen Umstellungskosten und der Tatsache, dass die Kunden kaum Einblick in die Funktionsweise der zugrunde liegenden Agenten haben, haben sie praktisch keine Verhandlungsmacht bei der Aushandlung günstigerer Konditionen.

Die Einführung der Preisgestaltung nach Ergebnissen auf der neutralen Infrastrukturebene kann genau dieses Problem lösen. Die Modellebene kann zwar auch eine Preisgestaltung nach Ergebnissen anbieten – Berichten zufolge führt OpenAI diesbezüglich bereits Pilotversuche durch –, aber sie könnte mit denselben Nachteilen konfrontiert sein wie die Anwendungsebene: Entweder strebt sie nach einer Ökosystem-Sperrung, oder sie priorisiert die Vermarktung ihrer eigenen Modelle, anstatt globale Optimierungen durchzuführen, um Ergebnisse auf die kostengünstigste Weise zu liefern.

Aus dieser Perspektive stimmen die Router-Ebene oder die Inferenzdienstleister und neuen Clouds für Rechenleistung, die sich in den Router-Bereich erstrecken, in ihrer geschäftlichen Haltung am besten mit den Kunden überein. Ihr einziges Ziel ist es, mehr Rechenleistung zu verkaufen – es ist ihnen völlig egal, welches Modell konkret aufgerufen wird.

Aber selbst wenn diese Voraussetzung erfüllt ist, bleibt zweifelhaft, ob die Router-Ebene tatsächlich das natürliche Recht hat, sich zu einer zentralen Superplattform zu entwickeln. Der Entwicklungsverlauf des Marktes für digitale Werbetechnologie ist hierfür sehr aufschlussreich.

Marktmacht in der Werbetechnologie

Die zugrunde liegende Logik zwischen Werbetechnologie und einer Infrastruktur mit Preisgestaltung nach Ergebnissen ist sehr einfach. Die Werbetechnologie verfolgt die endgültigen Konversionsergebnisse auf den Websites oder Anwendungen der Kunden mit technischen Sonden. Beispielsweise synchronisieren Vermarkter über die Conversions API von Meta in Echtzeit mit Meta, wann Nutzer eine Zielseite besuchen oder Waren kaufen. Vermarkter tun dies – sogar unter der Bereitschaft, private betriebliche Kontextdaten zu teilen! – nur, damit Meta die von ihnen erwarteten Konversionsergebnisse zum optimalen Preis liefern kann.

Aber es ist unbestreitbar, dass die Übergabe solcher Daten an Meta objektiv auch Konkurrenten stärkt. Nehmen wir an, Sie sind Neiman Marcus: Wenn Sie Meta mitteilen, dass ein Nutzer mit einem bestimmten Profil gerade eine Bestellung abgeschlossen hat, helfen Sie Meta tatsächlich dabei, seine Werbealgorithmen zu optimieren, um Werbung präziser an Ihren Todfeind Saks Fifth Avenue auszuliefern. Das widerspricht offensichtlich dem Prinzip des "Lern-Flywheels", das von Satya Nadella propagiert wird.

Das bedeutet, dass die echte Chance nicht darin liegt, das optimale Modell auszuwählen, sondern darin, über dem Modell einen geschlossenen Lernkreislauf aufzubauen, in dem Humankapital und Token-Rechenleistungskapital ständig Zinsen und Erträge anhäufen können.

Wenn ein zentralisierter Router oder eine Modellebene tatsächlich Geschäftsergebnisse effizienter liefern kann als ein einzelnes Unternehmen selbst, gerät die Argumentationsgrundlage der Behauptung, "jedes Unternehmen sollte sein eigenes exklusives Lern-Flywheel aufbauen", ins Wanken. Dieses Ergebnis ist unweigerlich beunruhigend, da es direkt den Branchenkonsens untergräbt, der seit mehr als zehn Jahren von Anbietern wie Databricks intensiv propagiert wird – nämlich dass private Unternehmensdaten das Lebenselixier jedes Unternehmens sind und die Preisgabe von Daten gleichbedeutend damit ist, den eigenen überschüssigen Ertrag (Alpha) zu zerstören, die technische Autonomie zu verlieren und zukünftiges Wachstum zu ersticken.

Die Entwicklungsgeschichte der Werbetechnologie hat der großen Erzählung von Nadella und anderen jedoch keinen Gefallen getan. Der Niedergang des offenen Internets (Open Internet) hat zwar viele Gründe, aber es ist unzweifelhaft, dass die Werbeinfrastruktur innerhalb der ummauerten Gärten (Walled Gardens) durch das durch ihre hohe Integration geschaffene minimalistische Erlebnis weitaus überlegen ist als das zersplitterte offene Netz. Meta ist bis heute einer der Bereiche mit den besten Werbeergebnissen im gesamten Netz, und sein durchgängiges "kontinuierliches Lernen"-Technologie-Stack ist der Schlüssel zum Erfolg. Um ehrlich zu sein, können die beiden nicht vollständig gleichgesetzt werden, aber Vermarkter, die versuchen, im offenen Netz "einen eigenen geschlossenen Kreislauf aufzubauen", haben oft eine weitaus schlechtere Kosten-Nutzen-Relation als diejenigen, die die Verwaltung direkt Meta oder Google überlassen.

Im weiteren Sinne gibt es einen grundlegenden Unterschied zwischen dem Marktmechanismus der Werbetechnologie und der Preisgestaltung nach Ergebnissen: Entropie. Die Werbetechnologie baut direkt auf einer Umgebung mit hoher Entropie auf – das sind die sich ständig ändernden Nutzerpräferenzen und der Strom von Produkten, die Händler ständig weiterentwickeln, um diesen Präferenzen gerecht zu werden. Wenn die Präferenzen der Öffentlichkeit konstant wären, würde der Wert der von Meta aufgebauten technischen Architektur und Datenbarrieren wahrscheinlich stark sinken, selbst wenn Meta die knappe Aufmerksamkeit der Nutzer monopolisieren würde; denn sobald Sie die Nutzerpräferenzen einigermaßen genau modelliert haben und diese Präferenzen nicht mehr schwanken, ist das System fast fertiggestellt. Zu diesem Zeitpunkt könnte jeder Akteur, der Aufmerksamkeit sammelt, diese Werbe-Engine leicht nachbauen, indem er diese unveränderlichen Präferenzen erkennt.

Das passt zu einer meiner langjährigen Untersuchungen: Ob das langfristige Schicksal führender KI-Labore davon abhängt, wie reich an "unbekannten Überraschungen und Variablen" (Surprise) die reale Welt ist. Ich habe diese Hypothese später formal modelliert.

Heute scheint die "Größe der Entropie in der realen Welt" genau diese entscheidende physikalische Größe zu sein: Sie wird letztendlich entscheiden, ob zentralisierte Router-Plattformen durch ihr ausgezeichnetes generalisierendes Lernen über ständig auftauchende neue Modelle und neue Problemformen stärkere wirtschaftliche Vorteile erzielen können, oder ob es wirklich so ist, wie @patrickmandia es sich vorstellt – dass Router lediglich standardisierte Massenkomponenten sind, die auf der Randseite bereitgestellt werden. Da die reale Welt nicht so komplex ist wie angenommen, können lokale Systeme schnell herausfinden, welches Agenten-Laufzeitumfeld (einschließlich Modelle, Laufzeitgerüste, externe Werkzeugketten usw.) am besten geeignet ist, um geschäftliche Probleme am Rand zu lösen, sodass Drittanbieter-Router keine Lernbarrieren bilden können.

Ich führe derzeit Simulationsstudien zu diesem Thema durch, aber bevor ich die Daten vorstelle, müssen wir klarstellen: Warum ist die Preisgestaltung nach Ergebnissen, die von Router-Plattformen durchgeführt wird, vorteilhafter als die von führenden KI-Laboren?

Preisgestaltung nach Ergebnissen: Warum Router führende Labore übertreffen?

Wie bereits erwähnt, wurde diese Woche berichtet, dass OpenAI die Preisgestaltung nach Ergebnissen in einem kleinen Kreis von Kunden testet, was auch von The Information bestätigt wurde. Davor wurde die offizielle Dokumentation von Anthropic zum "Definieren von Aufgabenergebnissen" (Define Outcomes) bereits seit Monaten stillschweigend online gestellt.

Werbegiganten wie Meta und Google haben Nadellas Warnung missachtet und unzählige Anwendungen und Websites erfolgreich überzeugt, ihnen ständig Telemetriedaten zurückzusenden – also echte Konversionsergebnisse! Warum können oder wollen führende private Modelllabore dieses Vorgehen nicht nachahmen?

Ich denke, der grundlegende Unterschied liegt darin, dass Werbeplattformen eine natürlich knappe Ressource fest im Griff haben – Aufmerksamkeit; während Modelllabore bisher keine gleichwertige knappe Ressource beherrschen (es sei denn, man zählt die Rechenleistung selbst dazu?). Werbetreibende wie Anwendungen und Websites sind gezwungen, Daten an Werbeplattformen weiterzugeben, weil letztere den knappen Zugang zur Aufmerksamkeit kontrollieren, nach dem Markenunternehmen sich sehnen. Obwohl dies tatsächlich zu einer Ökosystem-Sperrung führt, haben Werbetreibende oft keine andere Wahl. KI-Nutzer haben jedoch genügend Ausweichmöglichkeiten – sie können jederzeit verschiedene Open-Source-Modelle auf verschiedenen Clouds für Rechenleistung aufrufen.

Das grundlegende Anliegen von OpenAI und Anthropic ist der Verkauf von Modell-Inferenzdiensten mit hoher Bruttomarge. Das Ziel von Routern und Inferenzanbietern ist lediglich, Rechenleistung zu verbrauchen. Es ist ihnen völlig egal, welches Modell am Ende läuft. Aus diesem Grund sind neutrale Open-Model-Plattformen im Vergleich zu verschiedenen geschlossenen Laboren von Natur aus glaubwürdiger, wenn sie behaupten, "bestimmte Ergebnisse zum optimalen Preis zu liefern".

Wenn wir dieser Logik zustimmen, ist die Kernfrage: Kann eine zentralisierte Plattform, die ständig einen riesigen Strom überprüfter Ergebnisse sammelt, unüberwindbare Wettbewerbsbarrieren aufbauen, verglichen mit lokalen Routern, die Unternehmen selbst auf der Randseite aufbauen?

Simulation des Wertversprechens zwischen zentralisierter Plattform und lokalem Router

Transaktionsmechanismus für den Kauf bestimmter Ergebnisse von Agenten

Stellen Sie sich konkret vor, dass ein zentralisierter Router wie OpenRouter oder Router.com beginnt, nach Geschäftsergebnissen abzurechnen. Sein Betriebsparadigma wird sich stark an der Werbetechnologie orientieren: Er lädt Käufer ein, eine Telemetrieschnittstelle (ähnlich der Conversions API von Meta) in ihre Geschäftsanwendungen zu integrieren, um dem Router in Echtzeit Feedback zu geben, ob das erwartete Geschäftsziel tatsächlich erreicht wurde. Käufer müssen nur bezahlen, wenn die Telemetriesonde bestätigt, dass das Ergebnis erreicht ist, und der "Abschlussstandard" (Definition of Done) der Aufgabe wird von den Käufern selbst festgelegt, genau wie die von Anthropic festgelegten Ergebnisspezifikationen.

Zwar kann dies zu moralischen Risiken führen: Käufer von Ergebnissen könnten motiviert sein, Telemetriesignale böswillig zu manipulieren, um erfolgreiche Ergebnisse absichtlich zu unterschlagen oder falsch anzugeben. Aber diese Bedenken können durch Spielmechanismen ausgeglichen werden – da der Router die umgekehrte Algorithmus-Optimierung basierend auf den tatsächlichen Effekten durchführt, die die Kunden melden, führt böswilliges Unterschlagen direkt dazu, dass die Effizienz der Dienstleistung für diesen Kunden abnimmt (oder sogar teurer wird!). Konkret könnte der Router beginnen, die Anfragen dieses Kunden zur Aufrufung von Agenten häufig abzulehnen (weil das System nicht bestätigen kann, ob es sich lohnt, Rechenleistung für einen anspruchsvollen Kunden mit sehr niedriger gemeldeter Konversionsrate zu verschwenden), oder die Abrechnungsschwellen deutlich anheben, um sicherzustellen, dass die Bruttomarge auch bei potenziell hohem Risiko für Fehlmeldungen aufrechterhalten wird.

Natürlich gibt es subtile Unterschiede zwischen der Transaktionslogik für Agenten-Arbeitskräfte und Werbung. Der Kauf von Konversionsvolumen von Meta bedeutet im Wesentlichen immer noch den Erwerb knapper Aufmerksamkeit der Nutzer, nur dass der Gebotsverteilungsmechanismus in eine Richtung für die Konversionsrate optimiert wurde. Ich werde diese dynamischen Spielverläufe in einem längeren Artikel in Kürze eingehend erörtern.

Grundlegende Ökonomie des zentralisierten Routers

Kann ein solcher zentralisierter Router tatsächlich einen echten inkrementellen Wert für die Anwendungsebene schaffen?

Diese Vorstellung eines zentralisierten Routers greift Nadellas Kernargument auf: Käufer bleiben nicht an ihren internen, datengesteuerten geschlossenen Lernkreisläufen fest, sondern synchronisieren aktiv die Daten über nachgewiesene Geschäftsergebnisse kontinuierlich mit dem Router, um im Gegenzug die optimalen Beschaffungskosten pro Einheitsergebnis zu erhalten.

Die zugrunde liegende Logik besteht darin, dass zentralisierte Router Unsicherheiten absorbieren können, die aus langfristigen Geschäftsproblemen und der Entwicklung führender Modelle stammen, mit einer Reaktionsgeschwindigkeit, die weit über der eines einzelnen Kunden liegt, und zu weitaus geringeren Kosten. Ein einzelner Kunde könnte einen sehr langen Zeitraum benötigen, um die gesamte Verteilung von Geschäftsproblemen zu durchlaufen, während die Router-Plattform in Echtzeit alle Problemformen überblicken kann, auf die die gesamte Kundengruppe stößt. Solange es Zeitfenster gibt, in denen verschiedene Kunden nacheinander auf Probleme stoßen, kann der Aggregationseffekt nachfolgenden Kunden vorausschauende Absicherungsvorteile bringen. Beispielsweise könnte Ihr Konkurrent vor Ihnen auf eine Art gelegentlicher Fehler stoßen; die Router-Plattform kann dann den Strom der überprüften Ergebnisse von dem Konkurrenten nutzen