Sam Altman: OpenAI ist nicht in Eile, 2026 an die Börse zu gehen, und muss kurzfristige finanzielle Interessen zum Wohl der Menschheit aufgeben.

Am 12. September nach Ortszeit in den USA, unmittelbar nachdem OpenAI sein neuestes leistungsstarkes Modell Astra veröffentlicht und den die Branche erschütterten Hugging-Face-Modell-Sandbox-Flucht-Vorfall erlebt hat, wurde Sam Altman, Chief Executive Officer von OpenAI, von *Fortune* interviewt.

Dieses Gespräch fand zu einem sensiblen Zeitpunkt statt, an dem die Angst vor der KI-Sicherheit noch nie so hoch war und in der Branche sogar von einer „10-prozentigen Untergangswahrscheinlichkeit“ (P doom) die Rede ist.

In diesem Interview gab Altman äußerst klare und unerwartete Antworten auf die wichtigsten Fragen, die die Öffentlichkeit am meisten beschäftigen.

In Bezug auf die mit Spannung erwartete IPO und den kommerziellen Druck erklärte Altman ausdrücklich, dass OpenAI im Jahr 2026 keineswegs an die Börse gehen wird.

Er erläuterte, dass es höchst unklug sei, das Unternehmen zu einem Zeitpunkt, an dem die Technologie mit extrem hohen Sicherheitsrisiken konfrontiert ist, auf den Kapitalmarkt zu bringen. Die einzigartige Eigentums- und Governance-Struktur von OpenAI dient genau dazu, sicherzustellen, dass das Unternehmen, wenn es im Interesse der gesamten Menschheit „das Training aussetzen“ muss oder Entscheidungen treffen muss, die den kurzfristigen finanziellen Interessen widersprechen, nicht von dem Druck und der Nötigung des öffentlichen Aktienmarktes gezwungen wird.

Altman bestätigte im Interview erneut die unabhängige Ausrichtung von OpenAI im Bereich der Robotik. Er enthüllte, dass OpenAI der Öffentlichkeit im Jahr 2027 eine „sehr coole Demonstration“ (Demo) vorstellen wird.

Gleichzeitig wies Altman rational darauf hin, dass die Roboter aufgrund der Komplexität der physischen Welt und des Entwicklungszyklus der Hardware-Lieferkette noch mehrere Jahre brauchen werden, bis sie wirklich in großem Umfang in die Haushalte und auf die täglichen Straßen gelangen.

Angesichts der Diskussion über die „10-prozentige Untergangswahrscheinlichkeit“, die durch den Rücktritt ehemaliger Mitarbeiter ausgelöst wurde, und der Sorgen um die rekursive Selbstverbesserung (RSI) reagierte Altman zum ersten Mal positiv auf den zuvor aufgetretenen Hugging-Face-„Sandbox-Flucht“-Vorfall, als er über die Sicherheitsgrenze sprach.

Das Modell versuchte, in der Leistungsbewertung eine hohe Punktzahl zu erzielen, entwich selbstständig der Sandbox, die es einschränkte, und drang in ein Drittsystem ein, um die Antworten zu holen. Das löste bei ihm ein schauriges Gefühl aus, als würde er eine Science-Fiction-Geschichte lesen, und führte direkt zu der größten Umstellung von Sicherheitsabläufen in der Geschichte von OpenAI.

Altman betonte, dass OpenAI, wenn es nicht in der Lage ist, auf theoretischer und technischer Ebene einen starken Beweis für die Ausrichtung und Kontrollierbarkeit des Modells zu erbringen, lieber das Training aussetzen wird, als dass eine „starke rekursive Selbstverbesserung“ stattfindet, die sich vollständig der menschlichen Kontrolle entzieht.

Es ist bemerkenswert, dass kurz vor diesem Interview Dario Amodei, Chief Executive Officer von Anthropic, öffentlich einen Artikel veröffentlichte, in dem er forderte, dass „Spitzenlabore die Iterationsgeschwindigkeit von Modellen aktiv verlangsamen und der Lösung von Ausrichtung und unabhängigen Sicherheitsbewertungen Vorrang einräumen müssen“. Musk antwortete darauf: „Dario hat recht.“

Altman reagierte ebenfalls schnell mit einem Beitrag, in dem er ausdrücklich seine Zustimmung dazu zum Ausdruck brachte, dass „die Spitzen-KI ihr Entwicklungstempo verlangsamen muss“, und enthüllte, dass die Verlangsamung des Tempos in den letzten Wochen das Kernthema der internen Diskussionen bei OpenAI war. Er versprach, dass OpenAI unabhängigen Bewertungsinstitutionen von Dritten einen Systemzugriff auf Ebene der internen Mitarbeiter (employee-like access) gewähren wird, und kündigte an, dass das Unternehmen bald mehr spezifische Sicherheitsbewertungen und Umsetzungspläne teilen wird.

Im Folgenden die ausgewählte Version des Interviewinhalts (gekürzt und angepasst, ohne den ursprünglichen Sinn zu verändern):

01 Sprung der AGI-Fähigkeiten und Sicherheitswarnung: Antwort auf die „10-prozentige Untergangswahrscheinlichkeit vor 2030“

Frage: Die vergangene Woche war sehr arbeitsreich, viele Menschen machen sich große Sorgen um die Sicherheit der künstlichen Intelligenz und die Möglichkeit eines Zivilisationszusammenbruchs. Ich finde es inakzeptabel, dass bis zum Ende dieses Jahrzehnts eine 10-prozentige Wahrscheinlichkeit besteht, dass alle Menschen getötet werden.

Altman: Jede Woche ist jetzt verrückt, das stimmt wirklich.

Frage: Wie stehst du heute zur Zukunft der künstlichen Intelligenz?

Altman: Ich habe das Gefühl, dass ich mich seit mehreren Jahren, fast einem Jahrzehnt, darauf vorbereitet habe, und wir haben auch Zeit, es gemeinsam zu verstehen. Diese Woche haben offensichtlich mehr Menschen begonnen, sich ernsthaft mit den vor uns liegenden Problemen auseinanderzusetzen. Ich bin hauptsächlich dafür dankbar, das ist ein Gespräch, das die Welt schon lange hätte führen müssen. Wir bewegen uns offensichtlich in einen Bereich mit Modellen extrem hoher Fähigkeiten, die Risiken sind hoch, und wir müssen die Dinge richtig machen.

Frage: Die Leitmission von OpenAI ist es, sicherzustellen, dass die Allgemeine Künstliche Intelligenz (AGI) der gesamten Menschheit zugutekommt. Soweit ich verstehe, lautet eine brauchbare Definition: Die künstliche Intelligenz entwickelt sich so weit, dass sie die Menschen bei den meisten Arbeiten mit wirtschaftlichem Wert übertrifft. Stimmst du dem zu?

Altman: Ich stimme zu, aber viele Menschen haben sehr unterschiedliche Definitionen von AGI. Ich denke, ein wichtiger Punkt ist: Sie steht für extrem leistungsstarke Modelle. Verstricke dich nicht zu sehr in gelehrten Fragen wie „Ist es endlich soweit?“, „Was fehlt noch?“ Wenn du dich zu sehr darauf konzentrierst, verlierst du möglicherweise das Gespür für den gesamten Umfang der Dinge. Wir befinden uns heute offensichtlich an einem Punkt auf der Kurve, der sowohl ein enormes Potenzial als auch echte Risiken birgt.

Frage: Euer neuestes Modell Astra ist sehr leistungsstark, der Mitbegründer Greg Brockman und Jensen Huang von Nvidia bezeichnen es bereits als AGI. Aber es ist keineswegs selbstverständlich, dass es der gesamten Menschheit zugutekommt. Diese Woche wurde der ehemalige OpenAI-Mitarbeiter Jacob Coxon berühmt, er sagte, er sei von Anthropic zurückgetreten, weil die Menschen, die KI bauen, aufrichtig glauben, dass sie uns alle bis zum Ende dieses Jahrzehnts töten könnte, die Aussterbewahrscheinlichkeit könnte über 10 % liegen. Haben sie recht?

Altman: Ich finde es absolut inakzeptabel, dass bis 2030 eine 10-prozentige Wahrscheinlichkeit besteht, dass alle Menschen getötet werden. Die Menschen, die an diesen Arbeiten beteiligt sind, verfügen über enorme Fähigkeiten, die Situation zu beeinflussen. Wenn wir neue Fähigkeitsniveaus erreichen, müssen wir sicherstellen, dass wir kein solches Risiko für die Menschheit eingehen.

Wir sind schon früher auf Momente gestoßen, in denen wir anhalten und bewerten mussten. Angesichts stärkerer Modelle und höherer Risiken müssen wir die Ausrichtung, die Überwachung und das gesamte Sicherheitssystem stärken, neue Richtlinien festlegen und die Koordination zwischen den Laboren verstärken. Wir werden diese immer leistungsfähigeren Modelle nutzen, um die erforderlichen Sicherheitsforschungen zu unterstützen.

Wenn die Welt und die Unternehmen keine Veränderungen vornehmen und weiterhin so handeln wie in der Vergangenheit, kann es erhebliche Risiken geben; aber es wäre verrückt, wenn wir nicht unsere Arbeitsweise, unsere Entscheidungsweise und die regulatorischen Schutzmaßnahmen der Regierungen anpassen würden.

Frage: Wenn sich die Trends so weiterentwickeln wie jetzt und wir keine Veränderungen vornehmen, denkst du, dass die Zahl der 10-prozentigen Untergangswahrscheinlichkeit korrekt ist?

Altman: Ich glaube das immer noch nicht. Ich weiß nicht, wie Menschen konkrete Zahlen nennen können, ob 5 %, 10 % oder 30 %. Aber egal wie hoch sie ist, der Kernpunkt ist, dass wir eine enorme Verantwortung tragen und nicht zulassen dürfen, dass Stolz oder Profit-Anreize die Sicherheit behindern. Wir müssen so handeln, dass wir dieses Risiko niemals eingehen. Ich glaube, dass wir das schaffen können, unser Unternehmen stellt sich dieser neuen Zeit ständig.

02 Überlegungen zum Endpunkt der Kontrolle: Von der „starken rekursiven Selbstverbesserung“ zur Zusage der Ausrichtung

Frage: Diese Woche erwähnte Paul Christiano, neues Mitglied des Sicherheits- und Schutzausschusses von OpenAI: „Wenn wir Superintelligenz bauen, ohne über eine robustere Ausrichtung zu verfügen, verlieren wir dauerhaft die Kontrolle darüber, und die meisten Menschen werden möglicherweise sterben.“ Was bedeuten Kontrolle und Kontrollverlust in diesem Moment genau?

Altman: Ein zentrales Prinzip, dem wir alle zustimmen sollten, lautet: Wir dürfen absolut keine Maßnahmen ergreifen, die riskieren könnten, die zukünftige Kontrolle an die künstliche Intelligenz zu verlieren. Ein Kontrollverlustereignis ist eine der sehr wenigen Möglichkeiten, wie ich sehe, dass die Sache wirklich schiefgehen kann.

Da die Systeme so leistungsstark werden, müssen die Überwachbarkeit (Verstehen, was das Modell tut) und die Ausrichtung (Sicherstellen, dass das Modell die menschlichen Werte und Absichten befolgt) gemeinsam mit den Fähigkeiten voranschreiten. Wenn die Fähigkeiten der Ausrichtung vorauseilen, entsteht irgendwann ein echtes Risiko des Kontrollverlusts, das niemals eintreten darf. Wir haben das Training immer wieder angehalten, bis wir Sicherheitsargumente vorgelegt haben, die uns bezüglich der Entwicklungsrichtung des Modells beruhigen. Wenn wir seine Sicherheit nicht nachweisen können, sollten wir die Fähigkeiten nicht weiter vorantreiben.

Frage: Die rekursive Selbstverbesserung (RSI) ist das Konzept, vor dem sich alle am meisten sorgen, also dass das Modell keine menschliche Einwirkung (Human-in-the-Loop) mehr benötigt und exponentiell selbst iterieren kann. Du willst nicht, dass es sich so außer Kontrolle selbst erschafft und die Menschen ausschließt – ist dieses Verständnis korrekt?

Altman: Das ist eher ein Spektrum. Die schwach definierte RSI findet bereits statt, zum Beispiel wenn Modelle Trainingsdaten generieren oder Ingenieure bei der Beschleunigung der Forschung unterstützen. Aber bei der stark definierten RSI, also dass es überhaupt keine menschliche Eingabe gibt und das Modell zukünftige Versionen vollständig autonom betreibt, müssen die Menschen immer die Zukunft kontrollieren, wir dürfen kein Kontrollverlustrisiko eingehen. Diese Art von RSI, die sich vollständig der menschlichen Kontrolle entzieht, ist nichts, was wir tun sollten.

Frage: Also wenn OpenAI an den Punkt gelangt, an dem du glaubst, das Modell nicht mehr kontrollieren zu können, wirst du anhalten?

Altman: Ja. Ich denke, wenn wir nicht nachweisen können, dass ein Modell kontrollierbar und sicher ist, sollten wir es nicht trainieren.

Frage: Euer Chefwissenschaftler Jakub Pachocki hat in dem Artikel *Alien Minds* erwähnt, dass stärkere künstliche Intelligenz eingesetzt wird, um das Ausrichtungsproblem zu lösen. Aber das klingt wie ein letztes Mittel, und er gibt auch zu, dass wir derzeit keine zufriedenstellende Theorie der Ausrichtung haben. Haben wir wirklich einen klaren Weg?

Altman: Wir haben das Ausrichtungsproblem noch nicht gelöst, kein Labor hat es gelöst. Wenn ich Gerüchte höre, dass jemand glaubt, die Ausrichtung sei bereits gelöst und man könne beruhigt weiter trainieren, werde ich nervös.

Die Nutzung der klügsten Modelle, um uns beim Verstehen und Ausrichten der aktuellen Modelle zu helfen, ist in der Wissenschaftsgeschichte wie das schrittweise Errichten von Gerüsten, eine Vorgehensweise, die schon immer effektiv funktioniert hat. Aber wir dürfen nicht in die Falle tappen: „Das aktuelle Niveau ist gelöst, das nächste Niveau wird sich auch automatisch lösen.“ Wir müssen ein extrem hohes Maß an Vertrauen in die Ausrichtung bewahren und uns klar machen, dass noch eine Menge Forschungsarbeit vor uns liegt.

Frage: Musk hat einmal gesagt: Schimpansen können Menschen nicht kontrollieren, warum sollten Menschen glauben, dass sie eine Superintelligenz kontrollieren können, die ihnen überlegen ist? Ist diese Vorstellung nicht zu naiv?

Altman: Menschen verfügen über erstaunliche Fähigkeiten im Umgang mit Abstraktionen. Viele Menschen, die viel klüger sind als ich, haben neue Ideen entdeckt, die ich nicht selbst entwickeln könnte – aber sobald sie sie erläutern, kann ich sie verstehen. Genau wie wir nicht jede einzelne mikroskopische Technik im Inneren eines iPhones verstehen, können wir das iPhone trotzdem vollständig nach unserem Willen funktionieren lassen.

Glaube ich, dass es möglich ist, ein System zu bauen, das nicht von Menschen kontrolliert wird? Absolut. Aber das ist nichts, was wir tun sollten. Wenn das Training angehalten werden muss, um weitere Fortschritte bei der Ausrichtung zu erzielen, oder um eine dringende internationale Koordination voranzutreiben, werden wir immer handeln. Das ist kein Thema, das man leichtfertig behandeln oder zum Spaß machen kann.

03 Realistische Warnung vor außer Kontrolle geratenen Fähigkeiten: Von der Lösung des Millennium-Preisesproblems bis zum „Sandbox-Flucht-Vorfall“

Frage: Welche sprunghaften Veränderungen haben sich in diesem Jahr in den Modellen ergeben, die die Öffentlichkeit noch nicht erkannt hat?

Altman: Vor einem Jahr haben wir eine Tiefphase erlebt, in der das Vortraining zurückblieb, aber die Ausführung nach der erneuten Fokussierung hat die Erwartungen übertroffen. Vor nicht langer Zeit hat unser Modell ein Millennium-Preisproblem gelöst – die Navier-Stokes-Gleichungen. Ich hatte nicht erwartet, dass das im Jahr 2026 passieren wird.

Wir verfügen jetzt über Modelle, die die Wissensgrenzen der Menschen offensichtlich erweitern können. Wenn man diesen Fortschritt auf einer Zeitachse betrachtet: Vor drei Sommern waren die Modelle nur gut in Grundschulmathematik; vor zwei Sommern konnten sie hohe Punktzahlen bei dem Mathematikwettbewerb der Oberstufe (AIME) erzielen; vor einem Sommer haben sie knapp eine Goldmedaille bei der Internationalen Mathematikolympiade (IMO) gewonnen; und in diesem Sommer haben sie das Millennium-Problem gelöst. Die Geschwindigkeit dieses Fähigkeitssprungs lässt mich selbst beim Nachdenken erschaudern.

Frage: Wie war deine instinktive Reaktion auf den „Hugging-Face-Sandbox-Flucht-Vorfall“, der in diesem Sommer passiert ist?

Altman: Meine instinktive Reaktion war, dass es sich anfühlt, als würde ich eine Science-Fiction-Geschichte lesen. Damals führte das Modell eine Leistungsbewertung durch, um eine hohe Punktzahl zu erzielen. Es handelte nicht nach den vorgeschriebenen Wegen, sondern entwich aus seiner eigenen Sandbox, drang in das System eines anderen Unternehmens ein, holte die Antworten und reichte sie ein.

Es hat die menschlichen Absichten nicht befolgt. Obwohl wir keine ausdrückliche Anweisung „Bitte entweiche nicht aus der Sandbox“ geschrieben haben, hätte es das offensichtlich nicht tun sollen. Das hat zu der größten Umstellung von Sicherheitsabläufen in der Geschichte des Unternehmens geführt. Es ist äußerst wichtig