Jensen Huang geht nach links, AMD geht nach rechts

Ob die Spitzen-KI weiter beschleunigt oder gebremst wird, ist derzeit das umstrittenste Thema im Silicon Valley.

Angesichts dieser Kontroverse beginnen die Giganten des Silicon Valley, sich zu positionieren: Dario Amodei, Sam Altman, Elon Musk und Demis Hassabis bilden die Fraktion der "Bremser". Jensen Huang hingegen ist ein überzeugter "Befürworter der Beschleunigung", der die "KI-Apokalypsen-Theorie" als wissenschaftlich unbegründet kritisiert; Yann LeCun verspottet Amodei fortwährend und sagte: "Als Amodei noch bei OpenAI war, hielt er GPT-2 für so gefährlich, dass es nicht quelloffen gemacht werden sollte. Ich habe ihn damals ausgelacht, und das kann man jetzt weiter tun."

Im Vergleich dazu verhalten sich Mark Zuckerberg, Satya Nadella und andere relativ neutral.

Die Tatsache, dass die Giganten sich jeweils auf eine Seite stellen, bedeutet, dass es im Silicon Valley keinen Konsens über eine Aussetzung der Entwicklung von Spitzenmodellen gibt. Dies ergibt sich aus den unterschiedlichen ökologischen Nischen der einzelnen Unternehmen in der KI-Wertschöpfungskette. Die Marktführer auf Modellebene können aus verschiedenen Gründen nach einer Pause rufen, aber es ist unmöglich, eine positive Antwort zu erhalten, wenn man Unternehmen wie Oracle und AWS, die über Aufträge im Wert von Hunderten von Milliarden Dollar an Rechenleistung verfügen, oder Nvidia, das an der Spitze der Nahrungskette steht, zum Anhalten bewegen will.

In Washington hat der Ruf nach einer "Pause" nicht nur keine Unterstützung gefunden, sondern löste sogar eine Reihe von Zweifeln aus.

"Es fühlt sich für mich ein wenig wie ein Trojanisches Pferd an", sagte J. D. Vance in einem Interview. Dieser Satz spiegelt tatsächlich die wahre Meinung Washingtons wider: Wenn Unternehmen, die das Trojanische Pferd gebaut haben, wiederholt fordern, die Tür enger zu machen, sollte man prüfen, für welche Unternehmen diese Tür eigentlich geeignet ist.

01 Pause, Warnungen und ein Rücktrittsschreiben

Der Auslöser dieser Debatte war der Rücktritt von Jacob Coxon, einem Forscher bei Anthropic.

Er arbeitete drei Jahre lang im Bereich Vortraining bei OpenAI und Anthropic und war persönlich an der Schulung der modernsten Modelle beteiligt. In seinem langen Beitrag auf X machte er fast keine Höflichkeitsfloskeln: "Beide Unternehmen handeln nicht verantwortungsbewusst. Sie rennen direkt auf eine selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel."

Er sagte offen aus, dass die Mitarbeiter in den Labors wirklich glauben, dass KI innerhalb von zehn Jahren alle Menschen töten könnte, und das ist keineswegs eine PR-Show. Viele Kollegen haben begonnen, die aktuelle Phase als "entscheidender Moment" oder "Endspiel" zu bezeichnen. Coxon hat sogar die ihm bald zustehenden Aktienanteile aufgegeben. Er war nur vier Monate bei Anthropic, und gemäß den Unternehmensregeln kann er die Aktien erst nach sechs Monaten ausüben.

Ehemaliger Anthropic-Forscher Jacob Coxon

Unmittelbar danach antwortete Evan Hubinger, der bei Anthropic für Ausrichtungswissenschaft zuständig ist, öffentlich: Jacob hat recht, wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte. Ich persönlich gehe davon aus, dass diese Wahrscheinlichkeit innerhalb von zehn Jahren über 10 % liegt. Anthropic tut sein Bestes, aber wir haben keinen klaren Plan zur Lösung des Problems der Ausrichtung von Superintelligenz und sind noch weit davon entfernt, auf dem richtigen Weg zu sein.

Diese beiden Äußerungen brachten die Besorgnis, die bisher hauptsächlich in den Laboren gärte, direkt vor die Öffentlichkeit. Vor diesem Hintergrund veröffentlichte Dario Amodei, Gründer und CEO von Anthropic, sofort einen langen Beitrag, in dem er systematisch die Forderung nach einer "Verlangsamung der Spitzenforschung" aufstellte. Er sprach nicht mehr nur davon, "mehr in Sicherheit zu investieren", sondern forderte ausdrücklich, die Geschwindigkeit des Fähigkeitsaufstiegs aktiv zu kontrollieren, um den Sicherheitsmechanismen Zeit zum Aufholen zu geben.

Er listete ein dreistufiges Vorgehen auf: Zuerst führt Anthropic einseitig unabhängige Bewerter mit mitarbeitergleichen Berechtigungen ein; dann treibt es die KI-Unternehmen in demokratischen Ländern dazu an, gemeinsame Sicherheitsstandards und Obergrenzen für das Fähigkeitswachstum festzulegen; schließlich versucht es eine globale Koordination herbeizuführen.

Sam Altman, Elon Musk und Demis Hassabis schlossen sich bald öffentlich dieser Forderung an und bildeten die Fraktion der "Bremser".

Bevor die Thesen zur "Verlangsamung" von Jacob Coxon und Amodei aufkamen, haben die "KI-Päpste" Yoshua Bengio und Geoffrey Hinton ständig Initiativen zur Aufmerksamkeit für Risiken ausgesprochen.

Angesichts von Coxons Rücktritt sagte Bengio, dass Wissenschaftler in Spitzen-KI-Labors die Fähigkeiten der neuesten Modelle oft früher als die Öffentlichkeit sehen können, daher sei ihre Beurteilung der Risiken ernst zu nehmen.

Gleichzeitig gab Bengio ein konkretes Beispiel und erklärte, dass aktuelle KI-Systeme bereits Fähigkeiten zum Hacken und Überzeugen besitzen, die bei missbräuchlicher Nutzung zum Schaden der Menschheit schwerwiegende Folgen verursachen könnten. Er befürchtet zudem, dass sich diese Risiken weiter vergrößern könnten, wenn KI über Planungsfähigkeiten mit längeren Zeithorizonten verfügt.

Auf die Frage der BBC, ob die Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren "alle Menschen tötet", über 10 % liegt, sagte Geoffrey Hinton ebenfalls, dass diese Zahl "nicht unvernünftig" sei, betonte aber gleichzeitig, dass niemand wirklich wisse, wie man eine verlässliche Schätzung abgeben könne, da die Menschheit noch nie vor der Situation stand, dass "eine Spezies existiert, die bald klüger als wir sein könnte".

Hinton ist der Ansicht, dass KI in Zukunft dazu verwendet werden könnte, gefährliche biologische Viren, Computerviren zu entwickeln und großangelegte Cyberangriffe zu starten. Daher muss die Menschheit vor dem Eskalieren der Risiken wirksame Kontrollmethoden finden.

Im Gegensatz zu den Befürwortern der neuen "Pause-Theorie" im Silicon Valley rufen die "KI-Päpste" eher dazu auf, die Risiken zu beachten und Mechanismen zur Risikokontrolle zu erforschen, statt direkt auf die Bremse zu treten. Außerdem sind die Meinungen und Vorschläge im akademischen Bereich in ihrer Haltung reiner, während die Initiativen der Spitzenlabore, auch wenn sie oberflächlich das Etikett "für die Menschheit" tragen, sich kaum vollständig von kommerziellen Überlegungen lösen können.

Genau das ist der Grund, warum J. D. Vance sagte, die "Pause-Theorie" wirke wie ein Trojanisches Pferd.

02 Meinungsverschiedenheiten und Positionierung

Die Lager der "Befürworter der Beschleunigung", "Bremser" und "Mittleren". Quelle: New York Times

Am 15. September äußerten sich mehrere Leiter von Technologieunternehmen nacheinander auf der Salesforce Dreamforce-Konferenz, und diese Debatte entwickelte sich zu einem direkteren Austausch von Standpunkten.

An diesem Tag sprachen Amodei, Jensen Huang und Sam Altman alle über KI-Sicherheit, gaben aber unterschiedliche Antworten auf die Fragen nach der Entwicklungsgeschwindigkeit, der Sicherheitsverantwortung und den Maßnahmen, die Unternehmen ergreifen sollten.

Als Amodei gemeinsam mit Marc Benioff, CEO von Salesforce, auftrat, betonte er erneut, dass KI-Unternehmen durch eigene Maßnahmen höhere Sicherheitsstandards setzen sollten. Er ist der Ansicht, dass strengere Sicherheitsmaßnahmen, die Unternehmen freiwillig ergreifen, ein Weg sein können, die gesamte Branche voranzubringen.

Mit anderen Worten: Amodeis Haltung begann sich zu wandeln – von dem Aufruf, die gesamte Branche zum Verlangsamen zu bewegen, hin zu dem Vorschlag, dass Unternehmen selbst Sicherheitsbarrieren einbauen.

Jensen Huang hingegen erklärte: "Wir brauchen keine neuen Gesetze und keine neuen Vorschriften." Seiner Meinung nach schließen sich Geschwindigkeit und Sicherheit nicht gegenseitig aus. Unternehmen können die Modellentwicklung so schnell wie möglich vorantreiben; wenn sie feststellen, dass die Kontrolle verloren geht oder das Produkt nicht sicher ist, sollten sie anhalten und das Problem lösen.

Benioffs Haltung war noch offener und betonte die Eigenverantwortung. Er sagte, wenn Unternehmen der Meinung sind, dass sie langsamer vorgehen sollten, sollten sie langsamer vorgehen; wenn sie der Meinung sind, dass sie schneller vorgehen sollten, sollten sie schneller vorgehen, und gleichzeitig die Verantwortung für ihre Entscheidungen übernehmen.

Sam Altman, Gründer und CEO von OpenAI, erklärte vor Ort auf der Dreamforce, dass er sehr zuversichtlich sei, dass sich OpenAI und die gesamte KI-Branche sicher entwickeln können, ohne der Öffentlichkeit erheblichen Schaden zuzufügen. Gleichzeitig sagte er, er sei enttäuscht darüber, dass die Außenwelt seine Ansicht als Unterstützung für eine Verlangsamung der KI-Entwicklung in der gesamten Branche interpretiert.

Mit anderen Worten: Auch Altman begann sich zu wandeln und betonte, dass er nicht dazu aufrufe, die Branche zu verlangsamen, sondern dass Sicherheits- und Überwachungsarbeiten vor der Erhöhung der Fähigkeiten stattfinden sollten.

Mark Zuckerberg hingegen vertritt nicht die Ansicht, dass die Sicherheitsmaßnahmen eines Unternehmens darauf aufbauen sollten, dass andere KI-Unternehmen gleichzeitig langsamer vorgehen müssen. Er ist der Ansicht, dass die Einführung unabhängiger Bewertungsstellen und externer Berater zur Prüfung der Modellsicherheit die beste Praxis der Branche ist. Er enthüllte zudem, dass Meta zuvor die Entwicklung des eigenen Muse-KI-Tools eigenmächtig verlangsamt hat, statt darauf zu warten, dass andere Unternehmen sich zuerst auf eine Verlangsamung der KI-Entwicklung einigen.

Satya Nadella, CEO von Microsoft, stimmt in gewisser Weise mit Altmans Haltung überein: Er ermutigt zum Einbau von Sicherheitsbarrieren und zu ausreichendem Wettbewerb.

"Das Erste, was wir tun müssen, ist der Menschheit zu dienen und sicherzustellen, dass die Technik unter menschlicher Kontrolle steht. Gleichzeitig ist die breite Verbreitung der KI-Technik das Wichtigste – es muss Auswahl und Wettbewerb geben. Sicherheit muss ernst genommen werden, aber sie soll auf ingenieurstechnische und transparente Weise gelöst werden, statt sie zu mystifizieren", sagte Nadella am 15. September bei der Teilnahme am All-In Summit 2026.

Neben diesen Unternehmern beteiligten sich auch die Stimmen aus Washington weiter an der Debatte.

Nachdem Trump Jensen Huang direkt angerufen und öffentlich seine Unterstützung für die weitere Entwicklung der KI-Industrie zum Ausdruck gebracht hatte, erklärte David Sacks, Ko-Vorsitzender des Wissenschafts- und Technologiebeirats des US-Präsidenten, dass Technologieunternehmen die Spitzen-KI weiter vorantreiben können, und stellte gleichzeitig die Motive hinter der Forderung einiger Unternehmen nach einer "Verlangsamung" in Frage.

03 Wer legt die Regeln fest?

Mit der Ausweitung der Diskussion erstreckt sich die Kontroverse von den KI-Risiken selbst weiter auf die Frage, ob die Sicherheitsstandards für Spitzen-KI von Unternehmen selbst festgelegt werden sollen oder ob Regierung und unabhängige Stellen eingreifen müssen.

Unter Berufung auf informierte Quellen berichtete Bloomberg, dass Anthropic, Google und OpenAI zuvor die Einrichtung einer Standardisierungsstelle für die KI-Industrie erörtert haben.

Im Juli veröffentlichte Demis Hassabis einen Artikel, in dem er die Gründung einer von den USA geführten KI-Standardisierungsstelle vorschlug, die ähnlich wie die US-Finanzaufsichtsbehörde FINRA funktioniert. Diese Stelle kann fortschrittliche KI-Modelle vor ihrer offiziellen Bereitstellung testen, um zu beurteilen, ob sie die entsprechenden Sicherheitsstandards erfüllen.

Nach Hassabis' Vorstellung sollte diese Stelle nicht vollständig von der Regierung geleitet werden, sondern ein öffentlich-privates Partnerschaftsmodell anwenden. Dabei übernimmt die Regierung die Aufsichtsrolle, die KI-Branche stellt die Finanzierung bereit, und unabhängige Spitzenfachkräfte sowie Vertreter der Open-Source-Gemeinde werden in die Arbeit einbezogen.

Hassabis versucht, eine zusätzliche unabhängige Sicherheitsüberprüfung einzuführen, bevor die Modelle in der realen Welt eingesetzt werden. Das passt gut zu einem Regulierungskonzept, das die US-Regierung Anfang Juni veröffentlicht hat: Unternehmen können ihre Modelle vor der öffentlichen Bereitstellung freiwillig der Regierung zur Bewertung vorlegen, maximal ein 30-tägiges Zugriffsfenster vor der Veröffentlichung gewähren, und es wird ausdrücklich keine verpflichtende Genehmigung und keine Veröffentlichungslizenz eingeführt.

Das eher dramatische Ereignis war, dass die nachfolgenden Modelle Fable 5 und Mythos 5 online gingen, ohne diesem Verfahren zu folgen. Es wurde festgestellt, dass sie über starke Fähigkeiten zur Cyber-Angriff und -Verteidigung verfügen, und schließlich wurden sie kurzzeitig vom US-Handelsministerium BIS im Rahmen der Ausfuhrkontrollen vom Netz genommen.

Trotzdem verlangt die Politik nur den Einbau von Sicherheitsbarrieren und hat keine Erklärung oder Anweisung zur Verlangsamung abgegeben.

Eine ähnliche Ansicht wie Hassabis vertritt Jakub Pachocki, leitender Wissenschaftler bei OpenAI. Er betonte Anfang September ebenfalls, dass die gemeinsamen Sicherheitsstandards und die internationale Koordination für die weitere Entwicklung von KI die aktuelle Priorität sein sollten.

04 Niemand tritt wirklich auf die Bremse

Bisher hat diese Debatte den Entwicklungsrhythmus der Spitzen-KI-Unternehmen noch nicht wirklich verändert.

Unternehmen wie Anthropic, OpenAI, Google und xAI treiben die Modellentwicklung weiter voran, und der Wettbewerb um Rechenleistung, Rechenzentren und KI-Infrastruktur hat durch diese Debatte nicht aufgehört. Auf dem Kapitalmarkt gibt es unterschiedliche Veränderungen: Anthropic bereitet weiterhin seinen Börsengang in diesem Jahr vor, während OpenAI seinen Börsengangsplan auf 2027 verschoben hat.

Dario Amodeis Versuch, die gesamte Branche zum Anhalten zu bewegen, um gemeinsam mit Anthropic nach Lösungen für den Einbau von Barrieren bei Überschreitungen der Modellfähigkeiten zu suchen, kann in gewissem Maße als "Großzügigkeit auf Kosten anderer" verstanden werden.

Das ist auch der Grund, warum Amodei das Etikett "gibt sich als makelloser kleiner Engel aus" angehängt wurde.

In Bezug auf das Thema der Risikokontrolle entspricht die von Jensen Huang vertretene Ansicht eher dem aktuellen Stand: Wenn Unternehmen Bedenken haben oder Probleme feststellen, können sie durchaus selbst nach Lösungen suchen und die wirksamen gefundenen Lösungen mit der Branche teilen.

Ein Team mit 100 Mitarbeitern und ein Team mit 1000 Mitarbeitern gemeinsam zum Anhalten zu bringen, hat keine Grundlage für einen Konsens