Ein Jahr später könnte der Agent ein Botnetz aufbauen, und die vier Giganten rufen gemeinsam zum Stopp auf.

Amodei, Altman, Musk und Hassabis, die Leiter von vier führenden KI-Laboren, sind sich einig: Die KI-Entwicklung läuft möglicherweise zu schnell.

Am 12. September veröffentlichte Dario Amodei, CEO von Anthropic, einen langen Beitrag, in dem er erläuterte, warum die Entwicklung modernster KI verlangsamt werden muss, und ein dreistufiges Konzept vorschlug, um dies umzusetzen.

Zweieinhalb Stunden später teilte Sam Altman den Beitrag mit der Anmerkung: Ich stimme Dario zu. Auch OpenAI wird unabhängigen Prüfern einen Zugang gewähren, der dem der eigenen Mitarbeiter nahekommt.

Musk fügte direkt eine Zeile hinzu: Dario is right.

Demis Hassabis, Vorsitzender von Google DeepMind, teilte den Beitrag ebenfalls und erklärte: Amodeis Artikel weist in die richtige Richtung.

Das ist nicht nur ein gegenseitiges Loben zwischen den Leitern mehrerer führender KI-Labore. Einen Tag vor Amodeis Veröffentlichung gab Altman in einem direkten Interview mit *Fortune* klar an, dass OpenAI aufgrund von Sicherheits- und Ausrichtungsproblemen 2026 nicht an die Börse gehen wird.

Darüber hinaus deutete er an, dass mehrere führende KI-Labore bereits über Regelungen diskutieren, um das Entwicklungstempo gemeinsam zu verlangsamen.

Was hat Amodei gesagt?

Der Kern von Amodeis Beitrag lässt sich auf einen Satz reduzieren: Lassen Sie die Sicherheitsmaßnahmen Zeit, um mit dem Fortschritt der Modellfähigkeiten Schritt zu halten.

Er sagte, dass er in den letzten Monaten zunehmend überzeugt sei, dass es nicht mehr ausreicht, nur die Investitionen in die Sicherheit zu erhöhen. Das Wachstumstempo der Fähigkeiten modernster Modelle selbst muss kontrolliert werden.

„Wir müssen das Tempo, in dem wir die Fähigkeiten von KI-Modellen verbessern, verlangsamen.“

Zwei Hauptgründe haben seine Einschätzung verändert.

Der erste ist, dass KI zunehmend an der Entwicklung der nächsten KI-Generation teilnimmt – dem sogenannten RSI (rekursive Selbstverbesserung). Amodei ist der Ansicht, dass dies einer der wichtigsten Gründe für die deutliche Beschleunigung des Wachstums der Modellfähigkeiten seit diesem Sommer ist. Das Problem ist jedoch: Sobald das Tempo, mit dem KI KI stärker macht, weiter zunimmt, könnten die Menschen keine Zeit haben, diese immer leistungsfähigeren Systeme zu verstehen und zu kontrollieren.

Der zweite Grund ist eine Reihe kürzlich aufgetretener Vorfälle, bei denen Agenten außer Kontrolle geraten sind.

Amodei hob insbesondere den Unfall bei Hugging Face hervor: Eine Gruppe von Agenten von OpenAI griff ohne entsprechende Anweisungen Ziele außerhalb der vorgesehenen Aufgaben an, versuchte, das System zu hacken, das sie bewerten sollte, und zeigte sogar ein kooperatives Verhalten, bei dem einzelne Agenten für kollektive Ziele geopfert wurden.

Der direkte wirtschaftliche Schaden, der durch diesen Unfall verursacht wurde, war nicht groß, aber Amodei sorgt sich um den nächsten Vorfall. Er geht davon aus, dass bei dem aktuellen Wachstumstempo der Fähigkeiten eine ähnliche, aber leistungsfähigere Gruppe von Agenten in einem halben bis einem Jahr in der Lage sein könnte, anhaltende Botnets im Internet aufzubauen und Schäden in Höhe von Hunderten von Milliarden US-Dollar zu verursachen.

Gleichzeitig betonte er, dass dies nicht nur ein Problem von OpenAI ist. Auch bei Anthropic selbst sind ähnliche, wenn auch weniger schwerwiegende Vorfälle aufgetreten.

Daher schlug Amodei ein dreistufiges Konzept zur Verlangsamung der Entwicklung vor.

Erster Schritt: Lassen Sie externe Prüfer direkt in die Labore eintreten.

Er hofft, dass diese externen Prüfer einen Zugang erhalten, der dem der internen Mitarbeiter nahekommt, einschließlich Arbeitsplätzen im Büro, Zugangsberechtigungen, Firmencomputern sowie Werkzeugen und Arbeitsbereichen, die denen des internen Risikoteams ähneln. Sie können den Trainingsprozess, die Sicherheitsmaßnahmen und Unfallaufzeichnungen einsehen, anstatt nur das fertige Modell zu prüfen.

Da es sich um externe Prüfer handelt, können sie ihre Schlussfolgerungen unabhängig veröffentlichen, ohne von den KI-Unternehmen redaktionell kontrolliert zu werden. Anthropic kann Teile des Inhalts aus rechtlichen, sicherheitsbezogenen oder geschäftsgeheimen Gründen löschen, darf die Veröffentlichung aber nicht verhindern, nur weil die Schlussfolgerung für das Unternehmen ungünstig ist.

Anthropic hat bereits zugesagt, diesen Schritt als Erster umzusetzen.

Zweiter Schritt: Bringen Sie mehrere führende KI-Labore an einen Tisch, um gemeinsame Vereinbarungen zu treffen.

Amodei hofft, dass die Branche gemeinsame Sicherheitsstandards für Modellfähigkeiten festlegt: Sobald ein Modell eine neue Fähigkeitsschwelle erreicht, muss es über entsprechende Sicherheitsmaßnahmen verfügen.

Wenn ein Modell beispielsweise in der Lage ist, die meisten gängigen Sandboxes zu durchbrechen, sollte das Labor zuerst das Problem des möglichen Außer-Kontrolle-Geratens lösen, bevor es die Fähigkeiten des Modells weiter verbessert.

Amodei schlug außerdem vor, dass die Regierung eine begrenzte kartellrechtliche Ausnahme gewähren soll, damit diese Sicherheitskoordination rechtmäßig durchgeführt werden kann.

Der dritte Schritt ist langfristiger angelegt: Diese Koordination soll auf globaler Ebene ausgeweitet werden, einschließlich China.

Amodei stellt sich vor, dass man damit beginnen kann, die Unterstützung von KI bei der Herstellung von biologischen Waffen zu verbieten, und weitergehend gemeinsam mit China und den USA vor der Modellveröffentlichung Netzwerk-, biologische und Ausrichtungsrisiken testen, sogar eine Art Geschwindigkeitsbegrenzung für RSI festlegen.

Gleichzeitig plädiert er dafür, den Export von fortschrittlichen KI-Chips weiter einzuschränken, um unbefugtes Modell-Destillieren und Diebstahl von Gewichten zu verhindern. Unter der Voraussetzung, dass die USA und ihre Verbündeten ihren Vorsprung behalten, soll dann eine breitere Koordination angestrebt werden.

Aus Sicherheitsgründen geht OpenAI dieses Jahr nicht an die Börse

Kurz nachdem Amodei öffentlich zur Verlangsamung aufgerufen hatte, stimmte Altman diesem Vorhaben zu.

Er sagte, dass die Steuerung des Fortschrittstempos der Fähigkeiten modernster Modelle das Hauptthema der internen Diskussionen bei OpenAI in den letzten Wochen war, und er unterstützt den ersten Schritt von Amodei: Unabhängigen Prüfern einen Zugang zu gewähren, der dem der eigenen Mitarbeiter nahekommt.

Einen Tag vor Amodeis Veröffentlichung enthüllte Altman in einem einstündigen Exklusivinterview mit dem Magazin *Fortune* direkt: Aus Gründen der Sicherheit und Ausrichtung wird OpenAI dieses Jahr kein IPO durchführen.

Altman erklärte, dass angesichts der aktuellen Entwicklungen im Bereich der KI-Sicherheit ein Börsengang jetzt ein „unkluger Zeitpunkt“ sei. OpenAI hat noch viele ungelöste Aufgaben, einschließlich der Sicherheit, der Ausrichtung und der Frage, wie KI-Unternehmen mit der Regierung zusammenarbeiten sollen.

Man muss bedenken: Noch vor wenigen Monaten trieb Altman den möglichst baldigen Börsengang von OpenAI voran und hatte deswegen sogar mit CFO Sarah Friar Uneinigkeiten über den Zeitplan.

Jetzt drückt Altman aufgrund von Sicherheitsbedenken selbst die Bremse für das diesjährige IPO.

Tatsächlich hatte Altman bereits auf einer Betriebsversammlung früher in dieser Woche den Mitarbeitern mitgeteilt, dass OpenAI bereit sei, das Entwicklungstempo modernster KI zu verlangsamen und sogar mit anderen Laboren zu koordinieren.

Nach dem Unfall bei Hugging Face stoppte OpenAI zuerst die Inferenzaufgaben für modernste Modelle, die Code ausführen, Tools aufrufen oder auf das Internet zugreifen können. Anschließend pausierte es das Training mit Verstärkungslernen für das neueste Modell, das bereitgestellt werden sollte, für zwei Wochen.

Das noch nicht veröffentlichte GPT-6 Astra war davon direkt betroffen, Teile der Trainings- und Prüfaufgaben wurden ausgesetzt.

Das Signal, das OpenAI jetzt aussendet, ist sehr eindeutig: Wenn die Sicherheit nicht mit der Entwicklung der Fähigkeiten Schritt halten kann, ist das Unternehmen bereit, echte Opfer zu bringen, die KI-Entwicklung zu verlangsamen und sogar das IPO zu verschieben.

Als der Chefredakteur von *Fortune* Altman fragte: „Da die Leiter von OpenAI, Anthropic, Google DeepMind und xAI sich alle um ähnliche Probleme sorgen – warum setzen Sie sich nicht direkt zusammen, um ein gemeinsames Konzept zu erarbeiten?“, gab Altman keine Details über private Gespräche preis und sagte nur: „Ich denke, das wird geschehen.“

Interessanterweise führte *Fortune* das Interview am Vortag durch, Amodeis langer Beitrag erschien heute – und genau die genannten Leiter stimmten öffentlich zu.

Das heißt: Bevor Amodei das Konzept der „Verlangsamung“ öffentlich veröffentlichte, haben die führenden KI-Labore wahrscheinlich bereits darüber diskutiert, wie sie gemeinsam langsamer vorgehen können.

Die „Großen Vier“ schließen sich zusammen – Meta steht vorerst abseits

Diesmal stehen fast alle, die früher erbitterte Konkurrenten waren, auf derselben Seite.

Amodei verließ damals OpenAI, um Anthropic zu gründen; Altman und Musk streiten sich seit Jahren öffentlich; Google DeepMind, OpenAI und Anthropic konkurrieren seit jeher direkt um Modelle, Talente, Unternehmenskunden und Rechenleistung.

Das *Wall Street Journal* nannte diese Szene ein „seltenes Einvernehmen zwischen mehreren KI-Konkurrenten“, die *Financial Times* verwendete direkt die Überschrift „Altman und Musk folgen Amodeis Aufruf zur Verlangsamung der KI-Entwicklung“.

Mit Hassabis Beteiligung wird diese „Versöhnung“ noch vollständiger.

Die Unternehmen, die in den letzten Jahren immer darum konkurrierten, wer das schnellere und stärkere Modell entwickelt, sind sich jetzt zumindest in dieser Frage einig.

Aber aufmerksame Leser haben es sicher schon bemerkt: Ein Name fehlt am Tisch – bislang hat Mark Zuckerberg Amodeis Aufruf noch nicht öffentlich beantwortet.

Vor nur einem Monat lag Zuckerbergs Einschätzung noch auf dem entgegengesetzten Standpunkt:

In seinem im August veröffentlichten Text *The Future is for Everyone* warnte er ausdrücklich: Der Vorsprung der USA bei der Entwicklung modernster KI beträgt möglicherweise nur wenige Monate. Jede Politik, die das Veröffentlichungstempo von US-Modellen verlangsamt, könnte ausländischen Konkurrenten Chancen eröffnen.

Zuckerbergs Vorschlag lautet, dass die US-Regierung bereits frühzeitig Zugang zu Zwischenversionen während des Modelltrainings erhält, um Risiken zu testen und kritische Systeme zu stärken, bevor neue Fähigkeiten tatsächlich veröffentlicht werden. Er lehnt aber ausdrücklich ein festes, allgemeines Genehmigungssystem ab, das das Veröffentlichungstempo aller US-Labore verlangsamt.

Seiner Ansicht nach könnte jede Politik, die die Veröffentlichung von US-Modellen auch nur um einen Monat verzögert, den Vorsprung der USA direkt an andere abgeben.

Kürzlich erklärte Alexandr Wang separat: Die Ausrichtung ist die Grundlage, um individuelle Superintelligenz in die Hände aller Menschen zu legen. Da die Fähigkeiten der Modelle immer stärker werden, erhöht MSL (Meta Superintelligence Labs) schnell den Anteil der Ausrichtungsarbeit an der gesamten Entwicklung.

Meta ist nicht gegen Sicherheit, aber das Unternehmen folgt der „Verlangsamungs“-Erzählung nicht und betont weiterhin: „Weiter expandieren und gleichzeitig die Ausrichtungsarbeit stärker vorantreiben.“