Plötzliche schlechte Nachrichten für KI-Giganten
Es ist allgemein bekannt, dass die heutigen großen Sprachmodelle letztendlich eine komplexe Anpassung an Muster in riesigen Textmengen darstellen.
Für KI-Unternehmen sind Daten die Quelle von allem und stehen an erster Stelle der Prioritäten.
Doch diese Quelle hat nun eine Wende erlebt.
Am 2. Juli hat der Gigant für Netzinfrastruktur und Sicherheit, Cloudflare, allen globalen KI-Unternehmen ein Ultimatum gestellt:
Bis zum 15. September 2025 müssen die Kennzeichnungen von „Suchmaschinen“-Crawlern und „KI-Trainingsdaten/Agenten“-Crawlern vollständig getrennt werden.
Zu diesem Zeitpunkt wird jedes gemischte Crawler-Tool, das unter falschem Namen agiert, direkt physisch vom Netz getrennt und global blockiert.
Das bedeutet im Grunde, dass der gesamten KI-Branche ein Schloss angelegt wurde.
Der Grund liegt auf der Hand: Ungerechtigkeit bei der Verteilung der Gewinne.
Nvidia beherrscht alle Algorithmusunternehmen auf physischer Ebene und verdient enorme Summen.
In der Internetwelt sind die Unternehmen für Netzinfrastruktur nicht weniger die „Schaufelverkäufer“ im Ökosystem.
Warum sollten sie keinen Anteil erhalten?
01
Was ist Cloudflare eigentlich?
Man kann es als die „Zollbehörde“ des globalen Internets verstehen, vergleichbar mit Mautstellen auf Autobahnen.
Es verarbeitet etwa 20 % des globalen Internetverkehrs und bietet grundlegende Infrastrukturdienste wie Content Delivery Network (CDN), Domain Name System (DNS), Schutz vor DDoS-Angriffen und Web Application Firewall (WAF) an.
Es wird als „Cyber-Bodhisattva“ bezeichnet.
Warum?
In den letzten zehn Jahren hat es unzähligen kleinen und mittleren Websites sowie persönlichen Blogs weltweit kostenlose und leistungsstarke Dienste zum Schutz vor DDoS-Angriffen und CDN-Beschleunigung bereitgestellt.
Stichwort: kostenlos.
Doch dieser freundliche „Bodhisattva“ ist jetzt voller Wut.
Laut den Überwachungsdaten von Cloudflare hat im ersten Halbjahr 2026 der Bot-Verkehr den menschlichen Verkehr überschritten.
„Ursprünglich prognostizierte die Branche, dass dieser Wendepunkt erst 2027 eintreten würde, aber der Boom der Agenten hat diesen Zeitpunkt um ein Jahr vorgezogen.“
Nach aktuellen Trends wird sich das Verhältnis von Maschinen- zu menschlichem Verkehr innerhalb von nur fünf Jahren auf 1000:1 belaufen.
Das führt eindeutig zu einem Problem: Wenn die Hauptnutzer des Internets von Menschen auf KI wechseln, wird die grundlegende Geschäftsordnung unweigerlich zusammenbrechen.
Im Internetzeitalter gibt es einen grundlegenden Mechanismus für Suchcrawler und Verkehrsrückfluss:
Sie erstellen eine Website und bieten hochwertige Inhalte an; die Crawler von Suchmaschinen wie Google kommen, um Inhalte von Ihrer Website abzurufen.
Als Gegenleistung nimmt die Suchmaschine die Webseite in ihren Index auf. Wenn Nutzer nach relevanten Fragen suchen, zeigt die Suchmaschine den Link zu Ihrer Website an.
Nutzer klicken auf den blauen Link, der Verkehr fließt zurück zur Website des Betreibers, und Sie verdienen Geld, indem Sie Werbung auf dieser Grundlage schalten.
Das ist ein perfekter, gewinnbringender Kreislauf, der seit 30 Jahren funktioniert.
Sie liefern die Inhalte, wir liefern die Technologie – alle profitieren davon.
Doch die generative KI hat diesen ökologischen Vertrag zweifellos gebrochen.
So sieht die Situation jetzt aus:
Die Crawler der großen KI-Unternehmen durchforsten Websites und fügen die Inhalte der Ersteller in große Sprachmodelle ein, um diese vorzutrainieren oder feinabzustimmen.
Wenn Nutzer Fragen an die KI oder an Suchmaschinen mit KI-Übersichten stellen, gibt die KI zusammengefasste Inhalte direkt in der Suchoberfläche aus.
Laut Audiodaten von unabhängigen SEO-Wachstumsgemeinschaften und dem Internet: Der GPTBot von OpenAI durchsucht eine Website etwa 1500 Mal, bringt dieser Website aber nur einen einzigen Klick.
Wenn in den Google-Suchergebnissen KI-generierte Zusammenfassungen erscheinen, sinkt die Wahrscheinlichkeit, dass Nutzer auf Suchlinks klicken, auf 8 %, und die Wahrscheinlichkeit, dass sie auf die in der KI-Zusammenfassung enthaltenen Zitierlinks klicken, liegt sogar bei nur 1 %.
Das ist das, was man heute oft als „Null-Klick-Suche“ bezeichnet.
Die KI nimmt fast den gesamten Wert ein, und die Ersteller erhalten fast keine Rückmeldung in Form von Verkehr.
Das ist schlichtweg Raub – sie nehmen alles, ohne den ursprünglichen Eigentümern etwas zu überlassen.
Aus jeder Perspektive ist das unakzeptabel.
Doch die Website-Betreiber können nichts dagegen unternehmen.
Der Kerngrund liegt genau in dem Punkt, auf den Cloudflare abzielt: Crawler mit gemischter Nutzung.
Laut der offiziellen Anklage von Cloudflare fälschen immer mehr KI-Crawler absichtlich ihre User-Agent-Header, geben sich als Suchmaschinen-Crawler aus, die dringend Verkehr zu Websites leiten müssen, umgehen unbefugt die Einschränkungen von robots.txt und laden Webseiten uneingeschränkt herunter.
Das führt zu einem klassischen Gefangenen-Dilemma:
Wenn man sie pauschal blockiert, kommen die gemischten Crawler nicht herein, aber die Website taucht nicht einmal in den Suchergebnissen auf; wenn man sie nicht blockiert, geht es noch schneller bergab.
In jedem Fall ist das Ergebnis verheerend.
Jetzt muss also der „Bodhisattva“ eingreifen, um für Gerechtigkeit zu sorgen.
02
Laut dem Weißbuch „Configure AI bot policies“ gibt Cloudflare die binäre Klassifizierung „Mensch oder KI“ auf und unterteilt den automatisierten Verkehr im gesamten Netz anhand von „Handlungsmotiven“ und „Nutzungskategorien“ in drei Gruppen:
Suchkategorie: Crawler, die Indizes für traditionelle Suchmaschinen erstellen und später Verkehr zu Websites leiten
Agentenkategorie: Echtzeit-Suchcrawler von Nutzern, die zum Retrieval-Augmented Generation gehören
(Zum Beispiel der ChatGPT-User-Crawler, der von der KI in Echtzeit gestartet wird, wenn ein Nutzer eine Frage an GPT stellt)
Trainingskategorie: Uneingeschränktes, großflächiges Sammeln von Daten zum Vortrainieren großer Modelle
Ab dem 15. September 2026 wird die Sicherheitsrichtlinie für alle neuen Domain-Nutzer, die bei Cloudflare angemeldet sind, automatisch geändert: Erlaube „Search“, blockiere standardmäßig „Training“ und „Agent“.
Was passiert, wenn ein großes KI-Unternehmen nicht kooperiert und weiterhin gemischte Crawler einsetzt, die sowohl Such- als auch Trainingszwecke verfolgen?
Laut den Regeln von Cloudflare wird es nach den strengsten Maßstäben bestraft: Vollständige 100 %-Blockierung, selbst die Suchfunktion wird verboten.
Und wenn der Crawler sich trotzdem verkleidet?
Als Sicherheitsgigant, der mit DDoS-Schutz angefangen hat, hat Cloudflare mehr als genug Mittel.
1. Verhaltensanalyse
Die WAF analysiert Anfrage-Header, TLS-Fingerabdrücke und sogar gleichzeitige Eigenschaften von HTTP/2-Verbindungen.
Angesichts der Billionen von Datenpunkten im täglichen Verkehr von Cloudflare ist es für die KI fast unmöglich, sich mit Headless-Browsern als Mensch auszugeben.
2. Rückwärtsgewandte „Nutzung“ der KI
Mithilfe der KI-Labyrinth-Honeypot-Technologie wird sofort dynamisch ein unendliches Labyrinth aus gefälschten Seiten erzeugt.
Sobald der KI-Crawler hineingerät, gerät er in eine Endlosschleife aus unzähligen nutzlosen, gefälschten Inhalten, was enorme Rechen- und Bandbreitenkosten für das KI-Unternehmen verursacht.
3. Authentifizierung für Netzwerk-Roboter
Cloudflare hat ein offenes Framework initiiert, das vorschreibt, dass konforme KI-Roboter und automatisierte Einkaufsagenturen sich gegenüber den Herausgebern auf verschlüsselte Weise legitimieren müssen, um zu beweisen, dass ihre Identität und ihr Zweck rechtmäßig sind.
…
Wer leidet am meisten darunter?
Unternehmen wie OpenAI, Anthropic und Perplexity werden zweifellos einen großen Teil der Daten von kleinen und mittleren Websites sowie vertikalen Gemeinschaften verlieren.
Zumindest können sie nicht mehr kostenlos darauf zugreifen – sie müssen bezahlen und Lizenzvereinbarungen mit den Website-Betreibern abschließen.
Der größte Nachteil ist, dass die Kosten für das Trainieren von Modellen steigen.
OpenAI hat zum Beispiel seine Crawler bereits getrennt: Der GPTBot sammelt Daten für das Training, und der ChatGPT-User-Crawler wird für die Echtzeit-Internetsuche von ChatGPT verwendet.
Nur Google, dieses Mischkonstrukt, ist anders.
Anteil des globalen KI-Crawler-Verkehrs (Q2 2026)
Seit langem nutzt Google seine Monopolstellung von über 90 % auf dem globalen Suchmarkt, um den Googlebot uneingeschränkt agieren zu lassen und die gesammelten Daten offen für das Training von Gemini zu verwenden.
Um ihre Platzierung in den Google-Suchergebnissen zu behalten, wagt keine Website, Google zu verärgern – es sei denn, sie will aus dem Internet verschwinden.
Cloudflare nennt Google sogar direkt beim Namen: „Weil sie die Websites in eine Lage gebracht haben, in der sie kaum noch in Suchergebnissen gefunden werden, wenn sie ihre Inhalte nicht für die KI zur Verfügung stellen, verfügt die größte Suchmaschine über doppelt so viele Daten wie andere führende KI-Unternehmen.“
Am 15. September wird Google vor einer äußerst schmerzhaften Entscheidung stehen:
Wenn Google den Googlebot nicht trennt, verliert es die Fähigkeit, 20 % der globalen Webseiten zu indizieren, was zu einem katastrophalen Rückgang der Suchqualität führt. Wenn Google den Googlebot jedoch trennt und Such- und Trainingscrawler klar voneinander abgrenzt, steht Gemini sofort vor dem Problem, keine Trainingsdaten mehr zu erhalten.
Und es ist abzusehen, dass nach Cloudflare viele weitere Unternehmen für Netzinfrastruktur ähnliche Richtlinien einführen werden.
Das bedeutet, dass Google sein Privileg verliert, Daten durch seine Monopolstellung gebündelt zu erwerben, und gezwungen wird, auf die gleiche Ausgangslage wie Startups im Algorithmusbereich wie OpenAI zurückzufallen.
03
Das Internet leidet seit langem unter den KI-Dieben.
Die Aktion von Cloudflare ist höchst erfreulich.
Aber das ist natürlich nicht die ganze Geschichte.
Wichtige Regeln werden nicht leichtfertig weitergegeben.
Sogar ein Buddha liebt Geld – geschweige denn Cloudflare, das nur ein „Cyber-Bodhisattva“ ist.
Wie wir am Anfang sagten, kann jeder Konflikt zu einem gewissen Grad als ungleiche Verteilung von Gewinnen interpretiert werden.
Es ist besser, etwas zu lenken, als es zu blockieren.
Die Entwicklung der KI ist schließlich ein unaufhaltsamer Trend. Ein blindes Blockieren würde Cloudflare nur in die Gegenposition zum gesamten Markt bringen.
Tatsächlich hat Cloudflare bereits im Juli 2025 das „Pay Per Crawl“-Modell (Zahlung nach Abrufhäufigkeit) getestet.
KI-Unternehmen zahlen basierend darauf, wie viele Daten und Seiten sie abgerufen haben, und Cloudflare nimmt eine Provision, bevor das Geld an die Websites verteilt wird.
Doch dieses Modell hat offensichtliche Mängel: Die KI-Unternehmen fühlen sich benachteiligt, weil sie auch für nutzlose Informationen von schlechten Websites bezahlen müssen. Die hochwertigen Websites fühlen sich ebenfalls benachteiligt – warum sollten ihre exzellenten Inhalte den gleichen Preis haben wie nutzlose Informationen?
Daher nutzt Cloudflare das Ultimatum an alle globalen KI-Unternehmen, um ein neues Modell offiziell einzuführen: das Monetization Gateway (Monetarisierungs-Gateway) und „Pay Per Use“ (Zahlung nach Nutzungshäufigkeit).
Wenn die KI eine Nutzerfrage beantwortet und Inhalte von einer Website verwendet, die durch Cloudflare geschützt ist, kann Cloudflare mithilfe digitaler Fingerabdrücke und API-Audittechnologie feststellen: „Für diese Antwort haben Sie das geistige Eigentum einer bestimmten Website verwendet.“
Einfach ausgedrückt: Unternehmen wie OpenAI müssen keine Lizenzvereinbarungen mit Millionen von kleinen und mittleren Websites weltweit abschließen (was ohnehin unmöglich wäre). Sie müssen nur die einheitliche API von Cloudflare verbinden und eine „Urheberrechtskaution“ hinterlegen, um rechtmäßig auf 23,5 % der Inhalte des globalen Internets zugreifen zu können.
Mit jedem gezahlten Urheberrechtsentgelt nimmt Cloudflare eine Maut ein.
Das ist im Grunde eine Steuererhebung.
Gibt es ein besseres Geschäft als Steuern einzuziehen?
