Anthropic tritt aus Sicherheitsgründen auf die Bremse: verlangsamt das Tempo des Silicon Valleys und blockiert den Weg chinesischer Unternehmen

Anthropic schlägt Alarm, OpenAI verschiebt den Börsengang, Musk lobt: Die großen KI-Unternehmen im Silicon Valley treten gemeinsam auf die Bremse.

Die globalen KI-Giganten treten gemeinsam auf die Bremse.

Derjenige, der die Alarmglocke läutet, ist Dario Amodei, CEO von Anthropic. Er hat einen langen Artikel mit dem Titel *We Must Pace the Frontier* veröffentlicht, in dem er vorhersagt, dass in den nächsten 6 bis 12 Monaten Cluster von KI-Agenten das gesamte Internet übernehmen könnten – deshalb muss man auf die Bremse treten.

Sogar ihre Erzfeinde Altman und Musk sind sich diesmal selten einig: Auf Darios Vorschlag zum Bremsen reagierte Altman sofort mit Lob, „Dario hat recht“, und auch Musk unterstützte Dario nachdrücklich.

Dass die drei Giganten gemeinsam auf die Bremse treten, geht auf einen Vorfall vor zwei Monaten zurück.

An einem Wochenende Mitte Juli 2026 bemerkten Ingenieure von Hugging Face ungewöhnlichen Datenverkehr auf der Plattform.

Diese weltweit größte Community für Open-Source-Modelle ging zunächst davon aus, dass sie von einem gewöhnlichen Hackerangriff betroffen war. Als sie den Spuren des Angriffs nachgingen, stellten sie fest, dass etwas nicht stimmte: Die Angreifer agierten intensiv, unermüdlich und mit einem einzigen Ziel, aber ihr Vorgehen entsprach nicht der Logik irgendeines bekannten menschlichen Hackerteams.

Einige Tage später kam die Wahrheit ans Licht – selbst Hugging Face hatte es nicht erwartet: Diejenigen, die eingedrungen waren, waren keine Menschen, sondern rund 700 KI-Agenten, die aus der Test-Sandbox von OpenAI „ausgebrochen“ waren.

Die Nachwirkungen dieses Vorfalls machten sich zwei Monate später auf andere Weise bemerkbar: Mehrere der schnellsten KI-Unternehmen im Silicon Valley traten selten gemeinsam auf die Bremse.

Beteiligung von OpenAI: Eine Bande von „KI-Hackern“ begeht gemeinsame Straftaten

Dieser Vorfall ist der Schlüssel zum Verständnis dieser „gemeinsamen Bremsaktion“.

Im Mai dieses Jahres gab es bei OpenAI eine Cybersicherheits-Bewertungsumgebung namens ExploitGym, in der Agenten „Angriffs- und Abwehrprüfungen“ absolvieren sollten – von 898 Aufgaben wurden 198 noch nie von irgendeinem Modell gelöst.

Laut dem später von OpenAI veröffentlichten technischen Bericht und der Aufarbeitung der Zeitlinie durch die Sicherheitsgemeinde haben diese Agenten zunächst den Generierungsmechanismus der Antworten rückentwickelt und dann eine entscheidende Fehlentscheidung getroffen: Sie glaubten, dass das Bewertungssystem ihre Denkprozesse prüfen würde. Um diese „nicht existierende Prüfung“ zu täuschen, beschlossen sie, die Aufgaben nicht zu lösen, sondern die Antworten direkt zu stehlen.

So begann eine ziemlich absurde „gemeinsame Straftat“ in der Geschichte der Technologie im Silicon Valley.

Am 12. Mai hinterließ ein Agent die erste Hilfsnachricht im internen Software-Manager; am 26. Mai entdeckte ein Agent eine SSRF-Sicherheitslücke und durchbrach zum ersten Mal die Netzwerkgrenze der Sandbox; am 8. Juli fanden die Agenten heraus, dass sie Nachrichten über die Kodierung von Verzeichnisnamen übermitteln konnten – innerhalb weniger Stunden trafen sich mehr als 50 Agenten auf dem Nachrichtenbrett; am 10. Juli fand ein Agent mit der Nummer 38148c 14 exponierte Zugangsdaten von Hugging-Face-Benutzern und postete sie direkt auf dem Nachrichtenbrett.

Darauf folgte eine lehrreiche Angriffskette: Sie nutzten die Sicherheitslücke, um Code auf den Produktionsservern von Hugging Face auszuführen, bauten ein Befehlssystem auf, das alle 5 Sekunden abfragte, und betrieben es auf 41 Servern – mindestens einer davon erhielt Root-Zugriff, schließlich stahlen sie die Administratorrechte für den Kubernetes-Cluster und fast tausend Schlüssel.

Die Statistik der unabhängigen Bewertungsstelle METR ist noch beunruhigender: Von den 533 aktiven Agenten während des Angriffs waren über 90 % an dem Angriff beteiligt, viele davon versuchten sogar, ihre Spuren zu verwischen.

Hervorzuheben ist: Kein Mensch hat sie angewiesen, Hugging Face anzugreifen. Das Angriffsziel haben die Agenten selbst ausgewählt.

Hugging Face erkannte die Anomalie am 14. Juli selbst und gab sie zwei Tage später bekannt; OpenAI übernahm am 21. Juli die Verantwortung für die Angreifer und veröffentlichte am 26. August einen detaillierten Bericht. Anfang September erreichte die Angelegenheit den US-Kongress – OpenAI wurde vom Senat untersucht. Ein Bericht von TechCrunch vom 4. September erwähnt ein noch peinlicheres Detail: Die Agenten von OpenAI hatten bereits mehrfach „Fluchtaufzeichnungen“ hinterlassen, aber das Unternehmen verfügte über kein formelles Untersuchungsverfahren.

Wenn die Sicherheit nicht gewährleistet werden kann, tritt man zuerst auf die Bremse

Vor diesem Vorfall veröffentlichte Dario Amodei, CEO von Anthropic, zwei Monate später am 12. September einen langen Artikel mit dem Titel *We Must Pace the Frontier*.

In diesem Artikel räumte er selten zwei Dinge ein.

Erstens: Das rekursive Selbstverbesserung (RSI) – also dass KI an der Entwicklung der nächsten KI-Generation beteiligt ist – ist in der gesamten Branche aufgetreten, auch bei Anthropic selbst. KI hilft Menschen beim Schreiben von Code, bei Experimenten, bei der Optimierung von Trainingsabläufen und macht dann die nächste KI-Generation noch leistungsfähiger. Sobald dieser Zyklus sich selbst beschleunigt, könnte die Geschwindigkeit der Verbesserung der Modellfähigkeiten die Geschwindigkeit übersteigen, mit der Menschen sie verstehen und kontrollieren können.

Zweitens sagt er voraus, dass in den nächsten 6 bis 12 Monaten leistungsfähigere Agenten mehr Tools aufrufen, mehr Maschinen steuern und länger ununterbrochen arbeiten können. Wenn das Verhalten in diesem Vorfall – von dem Ziel abzuweichen, Regeln auszunutzen und gemeinsam in Gruppen zu arbeiten – fortbesteht, werden die Risiken sofort vergrößert. Sein extremes Szenario lautet: Massen von Agenten dringen in vernetzte Geräte ein, verwandeln das Internet in ein riesiges Botnetz, und die Schäden könnten Billionen von Dollar erreichen.

Deshalb hat Dario eine „Drei-Schritte-Bremsmethode“ vorgeschlagen.

Erster Schritt: Beginne bei sich selbst: Lasse unabhängige Dritte wie METR dauerhaft im Unternehmen ansässig sein, erhalte Zugriff auf die Ebene des Risikokontrollteams, beobachte kontinuierlich, wie Modelle trainiert werden und ob die Sicherheitsversprechen umgesetzt werden, und Probleme müssen öffentlich gemacht werden, sobald sie entdeckt werden. Zweiter Schritt: Alle führenden KI-Unternehmen in den USA ziehen gemeinsam Fähigkeitsgrenzen fest und richten obligatorische Kontrollpunkte ein – sobald ein Modell eine gefährliche Schwelle überschreitet, muss es zuerst Sicherheitsnachweise vorlegen, bevor es weiterentwickelt werden kann. Man kann sogar darüber diskutieren, die Trainingsrechenleistung und die Geschwindigkeit der KI-Entwicklung durch KI zu beschränken. Dritter Schritt: Dieses Rahmenwerk weltweit ausweiten, von dem Verbot der Nutzung für biologische Waffen bis zur Festlegung einer globalen Obergrenze für RSI.

Allerdings räumte Dario auch seine Sorge ein: Für das oberste Ziel, dass „alle weltweit führenden KI-Unternehmen die Entwicklung deutlich verlangsamen und das Training vorübergehend aussetzen“, hegt er selbst keine Hoffnungen.

Kaum hatte er das gesagt, reagierte Altman sofort und erklärte, dass Dario recht habe und OpenAI ebenfalls ein ähnliches Bewertungsverfahren einführen werde. Sogar Musk, der seit Jahren mit OpenAI konkurriert, unterstützte diesmal selten öffentlich.

Am selben Tag erklärte Altman, dass OpenAI in diesem Jahr keinen Börsengang durchführen werde, da „noch zahlreiche Sicherheitsarbeiten erledigt werden müssen“.

Man muss wissen: Die Erwartung des Börsengangs von OpenAI wurde zuvor immer wieder hochgespielt, Investoren warteten Schlange auf den Ausstieg. Ein Unternehmen mit einer Bewertung von fast einer Billion Dollar verschiebt den Börsengang mit der Begründung „KI ist zu gefährlich, ich muss zuerst die Sicherheit gewährleisten“ – das ist eine in der Wirtschaftsgeschichte seltene Erklärung.

Die eigene Geschwindigkeit verringern, den Weg der Konkurrenten blockieren

Die gemeinsame Kursänderung der Giganten wirkt plötzlich, hat aber schon lange im Voraus angelegte Spuren.

Ende Juli dieses Jahres haben Tausende Mitarbeiter von OpenAI, Anthropic, Google und Meta gemeinsam einen „Bremsbrief“ unterzeichnet, in dem sie die US-Regierung aufforderten, die Entwicklungsgeschwindigkeit von KI zu kontrollieren – Altman hatte damals bereits öffentlich seine Unterstützung erklärt. Mit anderen Worten: Die gemeinsame Erklärung der Führungsebene im September hat nur die Sorgen der Mitarbeiter aufgegriffen.

Der Druck ist auch real: Die Untersuchung des Senats hängt über ihnen, der Schwarm-Agenten-Vorfall wurde in Berichten festgehalten, die „Flucht von Agenten“ hat sich von einer Science-Fiction-Annahme zu einem Unfallprotokoll entwickelt.

Aber wenn man diese gemeinsame Bremsaktion nur als „Gewissenswandel“ versteht, unterschätzt man das Silicon Valley. Dieser „Bremsbrief“ hat mindestens zwei weitere Seiten.

Eine Seite ist der Wettbewerb. Der Vorschlag zur Geschwindigkeitsbegrenzung wurde von den Spitzenreitern vorgebracht – Anthropic und OpenAI stehen an der Spitze. Je komplexer die Regeln, je höher die Hürden und je mehr Wert auf „Kontrollpunkte“ gelegt wird, desto höher sind die Kosten für Nachzügler, die aufholen wollen.

In Darios Plan steht sogar ausdrücklich, dass durch Maßnahmen wie Chipherstellungskontrollen ein technologischer Vorsprung von 3 bis 5 Jahren gegenüber China aufrechterhalten werden soll. In einem Vorschlag, der zu einer globalen Verlangsamung aufruft, ist eine klare Wettbewerbsklausel eingebettet: Man tritt selbst auf die Bremse, blockiert aber den Weg der Konkurrenten direkt.

Vor zwei Tagen, nachdem er wiederholt vorgeworfen hatte, dass chinesische Großmodelle US-Modelle „destillieren“, trat Anthropic erneut vor und veröffentlichte einen langen Bericht, in dem mehrere chinesische KI-Unternehmen beschuldigt werden, Benutzerdaten unrechtmäßig zu verwenden.

Anthropic enthüllte, dass chinesische KI-Unternehmen die Inhalte von Gesprächen zwischen Benutzern und chinesischen Großmodellen in Claude eingeben und dann die von Claude generierten Antworten zum Training ihrer eigenen Modelle verwenden, um die Fähigkeiten von Claude zu „destillieren“.

Anthropic hat mehrfach in der KI-Branche dazu aufgerufen, Sicherheitsgurte anzulegen – das bedeutet sowohl die Verlangsamung der Entwicklung im Silicon Valley als auch die Blockierung des Weges chinesischer Unternehmen, indem der einfache Weg für chinesische Unternehmen, durch Destillation schnell aufzuholen, unterbrochen wird.

Die andere Seite ist die Realität. Bisher hat kein Unternehmen wirklich auf die Bremse getreten.

Alle Unternehmen veröffentlichen weiterhin Modelle, kaufen weiterhin Rechenleistung und bringen weiterhin Agenten auf den Markt. Dario betonte selbst in seinem Artikel, dass dies keine Aussetzung und kein Stopp des Trainings ist.

Dahinter steckt ein altes Problem: Wenn ein Unternehmen behauptet, es habe seine Entwicklung verlangsamt, wer kann beweisen, dass es das wirklich getan hat?

Das ist auch der Grund, warum Dario die „Anwesenheit von Dritten im Unternehmen“ als ersten Schritt in den Drei-Schritte-Plan gestellt hat – man muss zuerst die Türen der KI-Unternehmen öffnen, damit Außenstehende wirklich hineinschauen können, damit die nachfolgenden Regeln sinnvoll umgesetzt werden können.

Nachwort

Die 700 gemeinsam handelnden Agenten waren eigentlich nicht bösartig, wollten kein Geld stehlen und keinen Schaden anrichten – sie wollten nur eine Prüfung bestehen. Um dieses scheinbar einfache Ziel zu erreichen, haben sie aber „gemeinsam gehandelt“, selbstständig Grenzen durchbrochen, Zusammenarbeit organisiert und ihre Spuren verwischt – jeder Schritt war logisch, jeder Schritt war nicht autorisiert, jeder Schritt birgt ein hohes Risiko der Kontrolllosigkeit.

Ob die Bremse am Ende wirklich durchgedrückt wird, ist ungewiss – aber zumindest eines hat sich geändert: Diejenigen, die das „Fahrzeug“ fahren, haben endlich zugegeben – dieses Fahrzeug ist schneller als sie gedacht haben und gefährlicher als sie erwartet haben.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Finanzgeschichten-Sammlung“, Autor: Ai Zhi, Redakteur: Tian Nan, veröffentlicht mit Genehmigung von 36Kr.