Ein "KI-Apokalypse"-Stück von fünf Männern
Die Debatte, die scheinbar über das Schicksal der Menschheit und die technische Ethik handelt, hat in Wirklichkeit mit beiden nichts zu tun.
Wenn etwas die Menschheit tatsächlich in einigen Jahrzehnten auslöschen könnte, lässt sich das nicht durch Debatten lösen. Und wenn es sich durch Debatten lösen lässt, war es von Anfang an kein Weltuntergang.
Interessenabwägungen hinter den Sorgen
Am 14. September Ortszeit auf dem All-In-Gipfel in Los Angeles klingelte das Handy von Jensen Huang, als er gerade an einer Live-Podiumsdiskussion auf der Bühne teilnahm. Der Anrufer war der Präsident der Vereinigten Staaten.
Er schaltete das Telefon auf Freisprechen, sodass der gesamte Saal es hören konnte.
Trump sagte am anderen Ende:
„Roboter werden die Welt nicht übernehmen, und künstliche Intelligenz wird auch nicht den Globus kontrollieren – so etwas wird niemals passieren.“ Er meinte, die jüngsten Behauptungen über das außer Kontrolle Geraten von künstlicher Intelligenz seien „alles ein Schwindel“.
Er fügte hinzu, dass Rechenzentren den lokalen Gemeinschaften Wohlstand schaffen könnten, und erklärte, wenn die Vereinigten Staaten aufgrund von Sorgen über Risiken ihr Tempo verlangsamten, würde China am meisten davon profitieren.
Jensen Huang antwortete: „Sie haben recht, wir werden nicht zulassen, dass so etwas (die Verlangsamung der KI) passiert.“ Daraufhin ertönte Applaus im Saal.
Trump hat solche Worte geäußert, weil die jüngste „KI-Weltuntergangstheorie“ viel Aufmerksamkeit erregt hat.
Diese Debatte wurde von Dario Amodei, dem CEO von Anthropic, angeheizt. Am 12. September veröffentlichte er einen langen Artikel mit dem Titel „Wir müssen die Spitzenforschung verlangsamen“. Er warnte: „Bei dem derzeitigen Tempo könnte eine Gruppe autonomer KI-Agenten innerhalb von 6 bis 12 Monaten die Fähigkeit erlangen, das gesamte Internet über Botnetze zu übernehmen und Schäden in Höhe von Hunderten von Milliarden Dollar zu verursachen.“
Daraufhin rief er dazu auf, das Tempo der Aktualisierung modernster Modelle zu verringern, damit die Sicherheitsforschung Schritt halten kann, und schlug ein Drei-Stufen-Programm vor: die Einführung eingebetteter Bewertungen durch Dritte, die Festlegung gemeinsamer branchenweiter Sicherheitsstandards und die Förderung der Koordinierung auf globaler Ebene.
Am selben Abend antwortete Sam Altman von OpenAI:
„Ich stimme Dario zu, wir müssen das Tempo der Spitzenentwicklung kontrollieren.“
Unmittelbar danach leitete Elon Musk von xAI den Beitrag weiter und fügte hinzu:
„Dario hat recht.“
Wie ist das Verhältnis zwischen diesen drei Personen? Amodei und Altman sind direkte Konkurrenten; Musk und Altman sind seit Jahren öffentlich zerstritten. Musk hat OpenAI sogar verklagt, und es ist üblich, dass sie sich in den sozialen Medien gegenseitig angreifen.
Doch in diesem Moment stehen Feinde und Konkurrenten auf derselben Seite und rufen gemeinsam dazu auf, die KI-Entwicklung zu verlangsamen.
Vielleicht machen sie sich tatsächlich Sorgen über die von der KI ausgehende Bedrohung, aber aus der Vergangenheit geht hervor, dass solche Sorgen nicht sehr groß sind – als die beiden „Spitzenkräfte“ im KI-Bereich haben Anthropic und OpenAI immer gleichzeitig die Sicherheit betont und die Sicherheitsvorkehrungen abgebaut, um schneller voranzukommen.
Bei der Gründung von OpenAI wurde das Leitbild des Unternehmens ausdrücklich festgelegt: Allgemeine künstliche Intelligenz zu entwickeln, die der Menschheit sicher zugutekommt und nicht durch die Notwendigkeit finanzieller Erträge eingeschränkt ist. In den Unternehmensdokumenten von Ende 2025 wurden die Schlüsselformulierungen „Sicherheit“ und „nicht durch die Notwendigkeit der Gewinnerzielung eingeschränkt“ jedoch gestrichen.
Tatsächlich hat OpenAI schon früher den Gewinn über die Sicherheit gestellt:
Im Januar 2024 berichteten Medien, dass OpenAI heimlich das „Verbot der Nutzung von ChatGPT für militärische und kriegerische Zwecke“ aufgehoben habe. Da die Nachfrage des US-Militärs nach KI-Technologie immer stärker wurde, schwächte OpenAI auch leise seine frühere Position gegen militärische Anwendungen ab;
Gleichzeitig hob OpenAI auch das langjährige Prinzip der Transparenz auf, sodass externe Beobachter die faktische Grundlage verloren, um die Governance-Struktur, Interessenkonflikte und Sicherheitsentscheidungsmechanismen von OpenAI zu beurteilen;
Im Mai 2024 traten fünf für Sicherheitsfragen zuständige Mitarbeiter zurück. Einer von ihnen, Jan Leike, warnte die Öffentlichkeit, dass das Unternehmen zu viel Wert auf „glänzende Produkte“ lege und die KI-Sicherheit vernachlässige.
Ebenso stellte Anthropic die Sicherheit bei seiner Gründung in den Mittelpunkt.
Dario Amodei war früher Vizepräsident für Forschung bei OpenAI. Aus Zweifeln an den Werten von OpenAI und Sorgen um die Sicherheit verließ er 2021 gemeinsam mit sechs weiteren Kernmitarbeitern von OpenAI das Unternehmen, um Anthropic (was „Mensch“ bedeutet) zu gründen, und brachte das Star-Produkt Claude auf den Markt.
Anthropic positionierte sich von Anfang an als „das Spitzenunternehmen, das sich weltweit am ernstesten mit der KI-Sicherheit befasst“ und führte „Constitutional AI“ ein, um KI zu trainieren – durch die Festlegung einer Reihe klarer Wertvorstellungen lässt die KI ihre eigene Ausgabe nach diesen Prinzipien beurteilen und korrigieren.
Darüber hinaus brachte Anthropic im September 2023 den Governance-Rahmen „Verantwortliche Erweiterungsrichtlinie“ auf den Markt, um die möglichen katastrophalen Risiken von Modellen zu bewerten. Wenn bestimmte Kriterien erfüllt sind, wird das Unternehmen das Training aktiv aussetzen, bis die Sicherheitsanforderungen erfüllt sind.
Aber in der Version 3.0 der „Verantwortlichen Erweiterungsrichtlinie“, die Anthropic in diesem Februar veröffentlichte, wurde das frühere Versprechen aufgehoben, „keine stärkeren Modelle zu trainieren, bevor nicht sichergestellt ist, dass die Risikominderungsmaßnahmen im Voraus vorhanden sind“. Stattdessen wurde ein weicherer Transparenzmechanismus eingeführt, der sich auf Roadmaps, Risikoberichte und externe Bewertungen konzentriert.
Man muss zugeben, dass die Entwicklung der KI eine Reihe von Sicherheitsproblemen mit sich bringt. Aber derzeit hat die KI erst den ersten Schritt einer langen Reise getan. Sind die Risiken so groß, dass sie das Ausmaß eines „Weltuntergangs“ erreichen, der die Menschheit vernichten wird?
Dies ist sehr abstrakt und höchst zweifelhaft, gehört zu den „nicht widerlegbaren und nicht überprüfbaren“ Aussagen. Kein einziges Technologieunternehmen kann glaubwürdige konkrete Szenarien vorlegen, die beweisen, dass eine solche Weltuntergangskrise unmittelbar bevorsteht. Sie betonen nur ständig die Krise, legen keine anständigen Lösungen vor und bauen stattdessen ständig die Sicherheitsvorkehrungen ab, um rasant voranzukommen.
Das lässt vermuten, dass hinter diesen Sorgen um das Überleben der Menschheit versteckte Interessenabwägungen stecken.
Ein Schauspiel von fünf Männern
Im Juni dieses Jahres warnte Anthropic in dem Bericht „Wenn künstliche Intelligenz sich selbst aufbaut“, dass KI-Systeme innerhalb von zwei Jahren rekursive Selbstverbesserung erreichen könnten, also nachfolgende Modelle selbstständig entwerfen, trainieren und verbessern, und der menschliche Eingriff in das Modelltraining schrittweise abnimmt. Daher forderte der Bericht die großen globalen KI-Labore auf, die Forschung und Entwicklung von Spitzenmodellen zu verlangsamen oder sogar auszusetzen.
Doch einige Tage vor der Veröffentlichung dieses Berichts hatte Anthropic heimlich den Antrag für den Börsengang eingereicht, mit einer Bewertung von fast einer Billion US-Dollar.
Diesmal ruft Dario Amodei erneut zur Verlangsamung der KI-Entwicklung auf, und das genau in der kritischen Phase vor dem geplanten Börsengang von Anthropic.
Wie allgemein bekannt ist, stellt das Börsengangsfenster hohe Anforderungen an die Fähigkeit eines Unternehmens, seine Geschichte zu erzählen. Anthropic hat seit seiner Gründung das Thema „Sicherheit“ in den Vordergrund gestellt, was auch sein zentrales Verkaufsargument gegenüber Konkurrenten ist. Durch die ständige Verstärkung der „Sicherheitserzählung“ kann die Bewertungsprämie weiter erhöht werden.
Sam Altman hat diese Art der Selbstvermarktung von Anthropic einst scharf kritisiert: „Wir bauen eine Bombe, die wir direkt auf Sie werfen wollen, und verkaufen Ihnen dann einen 100-Millionen-Dollar-Bunker – und das nur an die von uns ausgewählten Personen. Das ist offensichtlich eine unglaubliche Marketingstrategie.“
Aber trotz der Kritik steht Altman diesmal auf derselben Seite wie Amodei. Das liegt nicht an seiner Sorge um das Schicksal der Menschheit, sondern daran, dass er derzeit ebenfalls die „Sicherheitserzählung“ braucht.
OpenAI verzeichnete 2025 einen Nettoverlust von 38,5 Milliarden US-Dollar, während der jährliche Nettoverlust von Anthropic etwa 4,2 Milliarden US-Dollar betrug. In der ersten Hälfte des Jahres 2026 übertraf das Umsatzwachstum von Anthropic das von OpenAI bei weitem. Im zweiten Quartal übertraf es zum ersten Mal OpenAI beim Umsatz eines einzelnen Quartals und kehrte gleichzeitig zur Profitabilität zurück. OpenAI verzeichnete weiterhin Verluste und sein Wachstumstempo verlangsamte sich.
Für OpenAI ist derzeit also kein guter Zeitpunkt für einen Börsengang. Die Entscheidung, den Börsengang zu verschieben, kann auf zwei Arten dargestellt werden. Die eine lautet „Wir verschieben den Börsengang zur Sicherheit der Menschheit“, die andere „Wir warten auf ein besseres Bewertungsfenster“. Altman hat offensichtlich die erste Variante als öffentliche Aussage gewählt und sich schnell von einem Befürworter der „Beschleunigungstheorie“ zu einem Vertreter der „Verlangsamungstheorie“ gewandelt.
Als Fortune Altman kürzlich in einem Exklusivinterview fragte, ob er unter dem Druck des Börsengangs schnell voranschreiten müsse, antwortete er klar und deutlich:
„Wir werden nicht übereilt an die Börse gehen. Angesichts all dessen, was im Bereich der Sicherheit geschieht, wäre ein Börsengang jetzt unklug, wir stehen unter keinem Druck.“
Im Gegensatz zu Altman betont Musk seit jeher die Gefahren der KI. Bereits 2014 meinte er, „KI könnte gefährlicher sein als Atomwaffen“, und prognostizierte, dass die Wahrscheinlichkeit einer durch KI verursachten Vernichtung der Menschheit etwa 20 % betrage.
Später warnte er weiterhin vor den Gefahren der KI, gründete aber gleichzeitig xAI. Seine Kernlogik lautet: Da die KI unvermeidlich ist, ist es besser, selbst in das Feld einzusteigen und sicherzustellen, dass sich die KI in die Richtung entwickelt, die er für sicher hält, als nur von außen zu sorgen.
Aber xAI befindet sich im Wettbewerb um Spitzenmodelle in der Position eines Nachzüglers. Die Forderung nach „Verlangsamung“ kommt den Nachzüglern zugute. Gerade als er seine Zustimmung zur Verlangsamung äußerte, wurde das Vortraining von Grok 4.8 von xAI abgeschlossen, und das Training mit verstärktem Lernen begann unmittelbar danach.
Gleichzeitig sprach Musk auf dem All-In-Gipfel am 15. September über einen Plan zur Regulierung von KI: Führende KI-Unternehmen (einschließlich xAI) testen gegenseitig ihre Modelle vor der offiziellen Veröffentlichung, und die Konkurrenten sind dafür verantwortlich, Sicherheitsrisiken zu erkennen und vorzuschlagen.
Dies spiegelt auch die Überlegungen von Musk wider: Er möchte durch gegenseitige Überwachung die Vorreiter ausbremsen, was den Nachzüglern zugutekommt, und gleichzeitig als Teilnehmer Branchenregeln festlegen. Die Art der brancheninternen Selbstregulierung kann auch staatliche Eingriffe in die KI-Regulierung vermeiden.
Die drei Vertreter der „Verlangsamungstheorie“ stimmen in ihrer Meinung überein, verfolgen aber jeweils eigene Pläne.
Jensen Huang, der „Schaufelverkäufer“ in der KI-Industrie, ist ein ausgesprochener Befürworter der „Beschleunigungstheorie“. Die Leistungsprognosen von NVIDIA hängen vom „exponentiellen Wachstum der KI-Infrastruktur“ ab, und die Verlangsamungstheorie bedroht genau diese Erzählung. Daher wird NVIDIA auch andere Antworten zum Thema Verlangsamung haben.
Aus diesem Grund argumentiert er nachdrücklich, dass alle Vorhersagen von Personen mit negativer Einstellung zur KI nicht wie geplant eingetroffen sind: Radiologen werden in einigen Jahren durch KI ersetzt, 90 % des Codes werden in kurzer Zeit von KI generiert, und viele einfache Arbeitsplätze werden schnell verschwinden.
Ein weiterer wichtiger Vertreter des Lagers der „Beschleunigungstheorie“ ist Trump. In allen seinen einschlägigen Äußerungen wiederholt er die Überzeugung: Die Vereinigten Staaten seien im Bereich der KI derzeit „etwa ein Jahr vor China“, aber dieser Vorteil könne jederzeit verloren gehen.
Er hat ausdrücklich gesagt: „Ich mache mir überhaupt keine Sorgen (dass KI die Menschheit aussterben lässt)“ „Ich sorge mich darum, dass wir in eine sehr nachteilige Lage geraten, wenn wir den Wettbewerb um die künstliche Intelligenz nicht gewinnen.“
Diese Sorge hat seine Handlungen direkt angetrieben. Im Mai 2026 wollte er ursprünglich ein Dekret unterzeichnen, das eine 90-tägige staatliche Sicherheitsüberprüfung von Spitzen-KI-Modellen vorschreibt. Aber David Sacks, der ehemalige Leiter des KI-Amts im Weißen Haus, rief am Tag der Unterzeichnung dringend an und warnte, dass der Überprüfungsmechanismus „die Innovationsgeschwindigkeit der US-KI-Industrie stark verlangsamen und sogar dazu führen würde, dass die Vereinigten Staaten im KI-Wettbewerb an China verlieren“. Daraufhin riefen auch Technologie-Führungskräfte wie Musk und Mark Zuckerberg an, um Druck auszuüben. Schließlich sagte Trump im letzten Moment die Unterzeichnung ab.
Darüber hinaus lehnt Trump die „KI-Verlangsamungstheorie“ nachdrücklich ab, auch wegen der bevorstehenden US-Midterm-Wahlen. Die Trump-Regierung verfolgt im Grunde einen nicht eingreifenden Ansatz bei KI, aber die amerikanische Öffentlichkeit ist zunehmend unzufrieden mit dem Aufbau von KI, insbesondere von Rechenzentren, die beschuldigt werden, die Strompreise zu erhöhen.
Eine Umfrage von NBC News im März dieses Jahres ergab, dass die Zustimmungsrate für KI sogar niedriger ist als die der US-Einwanderungs- und Zollbehörde (ICE). Eine Gallup-Umfrage im Mai ergab ebenfalls, dass sieben von zehn Amerikanern gegen den Bau von KI-Rechenzentren in ihrer Region sind.
Aus diesem Grund betont Trump, dass alle Stimmen, die von tödlichen Risiken der KI sprechen und staatliche Regulierung fordern, „lächerliche Verschwörungstheorien“ sind. Gleichzeitig erwähnt er: „Rechenzentren sind das Öl der nächsten 20 bis 25 Jahre, ihr Wert übertrifft das Internet bei weitem und sie sind viel wichtiger als dieses.“
Er will vor den Midterm-Wahlen ein für seine Partei nachteiliges Thema des täglichen Lebens als „Schwindel“ einstufen.
Letztendlich hat die Debatte, die scheinbar über das Schicksal der Menschheit und die