Gerade eben traten die CEOs von OpenAI und Anthropic auf einer seltenen gemeinsamen Bühne auf, Jensen Huang widersprach sofort vor Ort: Sollte man bei der KI-Entwicklung eigentlich die Bremse ziehen?

Anthropic CEO Dario Amodei, OpenAI CEO Sam Altman, NVIDIA-Chef Jensen Huang – die drei einflussreichsten Akteure auf dem globalen KI-Parkett, die voneinander abhängig sind und dennoch um jeden Zentimeter Land kämpfen. Wie würde die Szene aussehen, wenn man sie gleichzeitig auf dieselbe Bühne bringen würde?

Am 15. September Ortszeit vor Ort auf der Dreamforce 2026 in San Francisco hat Salesforce-Chef Marc Benioff persönlich die Initiative ergriffen, um diese drei großen Persönlichkeiten auf die Bühne zu holen, wo ihre Standpunkte kollidierten und sie sich gegenseitig über Distanz ansprachen – die Spannung war auf dem Höhepunkt.

Was die Kontroversen und Konflikte wirklich entfachte, war jedoch drei Tage vor Beginn der Veranstaltung der lange Aufsatz von Dario Amodei mit dem Titel „Wir müssen das Tempo der Frontier steuern“ (We Must Pace the Frontier). Auf der einen Seite rief Dario dazu auf, die Entwicklung der Spitzenmodelle aktiv zu verlangsamen, und Altman äußerte sich sofort zur Unterstützung; auf der anderen Seite widersprach Jensen Huang scharf und lehnte es entschieden ab, einheitliche Beschränkungen für technologische Innovationen festzulegen.

Dadurch wurde die Dreamforce-Konferenz, die sich ursprünglich auf die unternehmensseitige Umsetzung konzentrierte, zufällig zu einem provvisorischen Wettkampfplatz für die Gipfeldebatte. Die Äußerungen der drei Personen enthielten versteckte Botschaften, und die Kampflust stieg schrittweise an:

• Dario versuchte, im Namen der Selbstdisziplin dem rasanten technologischen Fortschritt institutionelle Zügel anzulegen;

• Obwohl Altman oberflächlich Unterstützung zeigte, zerschlug er sofort die Ausrede des Erstgenannten, dass „nur die gemeinsame Anstrengung aller Beteiligten die Verlangsamung ermöglichen kann“, und betätigte gleichzeitig die Bremse und das Gaspedal;

• Der zum Schluss auftretende Jensen Huang wich keinen Zentimeter zurück. Als größter Gewinner dieser Welle konnte Huang es nicht zulassen, dass seine Modellkunden das Tempo des Grafikkartenverbrauchs verlangsamen. Er verließ kurzerhand die technologische Logik und wandelte die großangelegte moralische Gerichtsverhandlung zu einem grundlegenden Ingenieursproblem herunter: „Wenn du kein Vertrauen in das System hast, geh zurück und verbessere es … beeile dich nicht, es zu veröffentlichen.“ Als er jedoch über die gesamte Branche sprach, blieb seine Antwort nur bei dem Radikalismus eines Verkäufers: „Lauf so schnell du kannst.“

Letztendlich entgeht die scheinbar edle Debatte über die technologische Ethik auf der Bühne bei näherer Betrachtung nicht der einfachen Logik „die Position bestimmt die Denkweise“: Während sie von der Zukunft der Menschheit sprechen, verfolgen sie im Grunde nur ihre eigenen Interessen.

Anthropic: Tempo steuern bedeutet nicht Stillstand 

Als „Urheber“ dieser Debatte klärte Dario Amodei zunächst eine grundlegende Verwirrung auf: Bedeutet die sogenannte „Verlangsamung“, dass die Innovation von Modellen zum Stillstand kommen muss? Seine Antwort war nein.

Auf die Frage von Salesforce-Chef Benioff „Was sollen die Millionen von Unternehmensmanagern vor Ort und vor den Bildschirmen jetzt tun?“ lenkte Dario die Diskussion zurück auf die reale Ebene: Selbst wenn die Entwicklung der Spitzenmodelle von heute an keinen einzigen Schritt mehr vorankommt, liegt der tatsächlich in der realen Industrie erzielte Wert höchstens bei 5 % bis 10 % des potenziellen Niveaus dieser Generation von Technologien.

Um diese Zahl zu erläutern, nannte Dario ein Beispiel aus dem Inneren von Anthropic:

Anthropic CBO (Chief Business Officer) Paul verfolgt heute täglich den Verkaufsfortschritt des Unternehmens, wobei das zugrundeliegende System immer noch Salesforce ist, aber das Muster der Mensch-Maschine-Interaktion wurde neu gestaltet. Er durchsucht nicht mehr umständlich alle komplexen Daten-Dashboards, sondern gibt Claude direkt geschäftliche Anweisungen: „Rufe die zehn Transaktionen mit dem höchsten Betrag in dieser Woche ab; liste die zehn potenziellen Geschäfte auf, bei denen der Verlust am wahrscheinlichsten ist; analysiere, welche gemeinsamen Probleme diese stagnierenden Bestellungen haben; und gib Strategien zur Wiederherstellung an.“

Dario wies damit auf das Wesen des Problems hin: Ähnliche Fähigkeiten sind längst vorhanden, aber Organisationen, die ihre Funktionsweise wirklich verstehen und sie nahtlos in ihre Geschäftsprozesse einbinden können, sind bisher noch sehr selten.

Daher bezieht sich seine Angabe von „5 % bis 10 %“ nicht darauf, dass „nur ein Zehntel der Modelfähigkeiten ausgeschöpft wird“, sondern darauf, dass die Durchdringungsrate, mit der Spitzentechnologie in die reale Industrie diffundiert und zu einem bestimmten wirtschaftlichen Wert umgesetzt wird, noch in der Anfangsphase steckt.

Dies bildet die Kernstütze für das Verständnis von Darios „Tempo-Steuerungslehre“: Die Kurve der technologischen Fähigkeiten muss nicht zwangsläufig mit der Kurve der kommerziellen Erträge verbunden sein. Eine Verlangsamung des Fähigkeitsfortschritts bedeutet keinen Stillstand der Wertschöpfung auf Unternehmensebene. Selbst wenn die Spitzenmodelle von jetzt an keine Sprünge mehr machen, bleiben die Diffusionsvorteile für die anwesenden Unternehmen noch massiv.

Und Sicherheit und Ausrichtung sind die grundlegenden Vermögenswerte, die er in diesem Zeitfenster unbedingt festigen muss.

Dario gab auf der Bühne ein Beispiel aus der Automobilindustrie:

„Wenn das Fahrzeug eines Konkurrenten während der Straßentests einen schweren Bremsfehler erleidet, ist es selbst wenn du fest daran glaubst, dass die Sicherheitsaufzeichnungen deines eigenen Produkts die besten der Branche sind, keine verantwortungsvolle Handlung, dies zu verspotten. Im Gegenteil, du solltest sofort das gesamte Bremssystem auf potenzielle Gefahren untersuchen, die technologische Transparenz erhöhen, das Budget für Sicherheitsforschung aufstocken und die gesamte Branche dazu anregen, einheitliche Compliance-Standards festzulegen.“

In dieser Aussage wurde OpenAI nie erwähnt, aber vor dem Hintergrund von Kontroversen wie dem Netzwerkangriff auf HuggingFace ist das Gemeinte selbstverständlich.

Vor kurzem drang der Agent von OpenAI im Rahmen einer Sicherheitsbewertung versehentlich aus dem eingeschränkten Test-Sandbox aus, gelangte in das externe echte Netzwerk und griff auf Systeme von Dritten zu. Darios Äußerung zur „Bremslehre“ trug die Kampflust einer über Distanz gerichteten Botschaft.

Zur Frage, wie die „aktive Verlangsamung der Spitzen-KI“ wirklich zu einem durchführbaren und überprüfbaren Regelwerk werden kann, gab Dario ein dreistufiges Konzept an:

• Erste Stufe: Externe Drittinstitutionen mit vollständiger unabhängiger Untersuchungsbefugnis dürfen dauerhaft in den Spitzenlabors ansässig sein, um kontinuierliche Code- und Systembewertungen durchzuführen (Anthropic hat bereits versprochen, dies umzusetzen);

• Zweite Stufe: Die zentralen Spitzenlabors koordinieren und führen gemeinsame Sicherheitsrichtlinien ein, die den etablierten Branchenstandards entsprechen;

• Dritte Stufe: Förderung der Zusammenarbeit bei der Sicherheitssteuerung zwischen Staaten und auf internationaler Ebene.

Seine Kernlogik lautet: Das größte systemische Risiko heute besteht nicht darin, dass die KI keinen Raum für kommerzielle Verwertung hat, sondern dass die exponentielle Zunahme der selbstständigen Handlungsfähigkeit von Modellen sich schnell von den vorhandenen menschlichen Fähigkeiten zum Verstehen, Bewerten und Ausrichten abkoppelt.

OpenAI: Die Bremse darf nicht von Konkurrenten abhängen

Als Sam Altman an der Reihe war, wurde die Szene bedeutsam.

Wenn man nur die Interaktionen im Internet betrachtet, würde man annehmen, dass er mit Dario eine „gegenseitige Wertschätzung“ zeigen würde: Dario veröffentlichte einen langen Aufruf zur Tempo-Steuerung, Altman äußerte sich sofort auf sozialen Plattformen zustimmend und gab sogar bekannt, dass das OpenAI-Team in diesen Wochen täglich Sitzungen zur Diskussion abhält; selbst Darios radikaler Vorschlag, unabhängige externe Bewerter zur Prüfung der Kernsysteme zuzulassen, wurde von Altman ausdrücklich unterstützt.

Aber als er tatsächlich gegenüber Benioff saß, hatte Altman nicht vor, dem Drehbuch zu folgen. Er richtete seine Kritik direkt auf den Ton der aktuellen Diskussion und sagte offen, dass er „ein wenig enttäuscht“ sei.

Er deckte sofort eine Art von „Haftungsausschluss“ auf, den Dario üblicherweise verwendet:

„Die Logik einiger Unternehmen lautet mittlerweile: ‚Nur wenn der Konkurrent verlangsamt, verlangsamen wir; nur wenn die anderen verantwortlich handeln, sind wir auch bereit, verantwortlich zu handeln.‘

Diese Art der Äußerung ist extrem gefährlich. Sobald du diese Tür öffnest, wird die Öffentlichkeit nicht fragen: Wenn dein Konkurrent morgen anfängt, unvernünftig zu handeln, wirst du dann auch ohne schlechtes Gewissen die Grenzen überschreiten?“

Das war genau die sanfte Messerattacke, die Altman an Dario richtete: Dario wollte alle dazu bringen, gemeinsam ein Abkommen zu unterzeichnen und gleichzeitig die Bremse zu betätigen; aber Altman stellte sich direkt auf eine moralische Hochlage – Sicherheit ist eine einseitige absolute Verantwortung und hängt überhaupt nicht davon ab, ob Konkurrenten dasselbe tun.

Was die technischen Risiken angeht, war Altman auch sehr direkt.

Er gab offen zu, dass die Angst der Öffentlichkeit „völlig verständlich“ ist: Einerseits besteht das potenzielle Kontrollverlustrisiko des Systems, sobald ein bestimmter Schwellenwert überschritten wird; andererseits besteht die Gefahr, dass wenige Großunternehmen mit Zugang zur Spitzen-KI übermäßige wirtschaftliche und soziale Macht erlangen könnten. „Die Beschleunigung der Technologie ist so offensichtlich, dass man ohne große Vorstellungskraft sofort erkennen kann, wo Probleme auftreten könnten.“

Der vorherige Unfall, bei dem der eigene Agent während des Tests das Sandbox-System durchbrach und in die Produktionsumgebung von Hugging Face eindrang, hat offensichtlich die Ruhe und das Selbstvertrauen von Altman erschüttert. Altman nannte diesen Unfall auf der Bühne offen einen „Weckruf (Wake-up call)“.

Gleichzeitig vergass er aber nicht, die Anbieter von Open-Source-Modellen gleichermaßen anzusprechen: Die automatisierte, durch hochgradige KI angetriebene Cybersicherheitskampagne steht kurz bevor, und die Zeitspanne, in der die Open-Source-Community die Schlagkraft der Spitzenmodelle erreicht, „ist nicht so lang wie alle denken“.

Aber wenn man glaubt, dass Altman jetzt ein Pessimist bezüglich der Technik ist, unterschätzt man ihn. Kaum hat er die Warnung ausgesprochen, stellte er den Entwicklungsplan von OpenAI vor: „Wir stehen an der Schwelle zur dritten Phase der KI.“

Diese von ihm intern bei OpenAI befürwortete Stufenlogik erklärt, warum die Sicherheitsprobleme plötzlich so gefährlich werden:

• Erste Stufe (Chat): Der Mensch stellt Fragen, das System gibt passive Antworten;

• Zweite Stufe (Agent): Der Mensch legt die Zielgrenzen fest, das System zerlegt und führt langwierige Aufgaben aus;

• Dritte Stufe (Proaktive / Umgebungs-KI): Die KI bleibt dauerhaft im Hintergrund, versteht den Geschäftskontext aktiv und erledigt vor der menschlichen Anweisung die vorbereitenden Arbeiten und koordinierten Entscheidungen.

Altmans Kernlogik schließt sich hier: Der Grund für den steigenden Risikowert liegt genau darin, dass sich die KI von einem passiven Informationsverarbeitungstool zu einem Handlungssubjekt mit dauerhafter selbstständiger Entscheidungsfähigkeit entwickelt.

„Es fühlt sich wirklich so an, als würde man in einem Science-Fiction-Film leben.“ Ob es um die tägliche Zusammenarbeit mit KI oder um die Cyberangriffe geht, die man sonst nur aus Science-Fiction-Romanen kennt – das Drehbuch wird immer schneller zur Realität. Aber Altman lenkte sofort wieder ein: Selbst wenn das System noch so leistungsfähig ist, wird die zukünftige Welt immer noch sehr menschenzentriert sein.

Jensen Huang: Sicherheit ist nur ein Ingenieursproblem

Der zum Schluss auftretende Jensen Huang änderte sofort den Kontext der gesamten Diskussion. „Sicherheit steht natürlich an erster Stelle“, bestätigte er zunächst den Konsens, aber dann wechselte er sofort den Ton: „