OpenAI holt die »Weltuntergangspropheten« in seinen Vorstand – das neu ernannte Mitglied legt sofort nach seinem Amtsantritt scharf los: KI könnte die Mehrheit der Menschen töten
Gerade hat OpenAI einen Vertreter der „KI-Apokalypse-Theorie“ in seinen Vorstand aufgenommen.
Am 9. September hat OpenAI eine wichtige Personalentscheidung offiziell bekannt gegeben:
Paul Christiano tritt formell dem Vorstand der OpenAI Foundation bei und wird Mitglied des äußerst zentralen Sicherheits- und Schutzausschusses.
Paul Christiano
Am ersten Tag nach seinem Amtsantritt veröffentlichte das neue Vorstandsmitglied eine persönliche Erklärung auf der Plattform X.
Abgesehen von der höflichen Eröffnungsphrase „Ich freue mich sehr, beizutreten“ ließ er in den folgenden Worten seinem neuen Arbeitgeber keinerlei Nachsicht zukommen:
Wenn wir Superintelligenz schaffen, ohne über zuverlässigere Ausrichtungstechnologien zu verfügen, gehe ich davon aus, dass die Menschheit die Kontrolle darüber dauerhaft verlieren wird. Wenn das passiert, werden die meisten Menschen wahrscheinlich sterben.
Anschließend nannte er OpenAI unverblümt beim Namen und kritisierte die gesamte KI-Branche:
Die gesamte KI-Branche, einschließlich OpenAI, befindet sich derzeit nicht auf dem richtigen Weg, um die Risiken auf ein akzeptables Niveau zu senken.
Interessanterweise hat Sam Altman, CEO von OpenAI, diese mit Spannung geladene Nachricht auf X geteilt: Willkommen Paul, vielen Dank für alles, was Sie für die KI-Sicherheit tun, ich freue mich auf die weitere Zusammenarbeit.
Jemand, der es wagt, seinem neuen Arbeitgeber auf X so offen entgegenzutreten und Altman dazu zu bringen, seine Nachricht zu teilen, kann kein gewöhnlicher Mensch sein – Christiano ist eine außergewöhnliche Persönlichkeit.
Der Wagemutigste, der Gegenpositionen vertritt
ist in die Führungsebene von OpenAI eingetreten
Christiano ist einer der Gründerväter der Kerntechnologie großer Modelle RLHF (Reinforcement Learning mit menschlichem Feedback).
Er ist der Erstautor der grundlegenden Arbeit zu RLHF aus dem Jahr 2017, und unter den Mitautoren befindet sich auch Dario, CEO von Anthropic.
Jedes große Modell, das heute menschliche Sprache verstehen kann, kommt nicht um diese Arbeit herum.
Aber in seiner Eintrittserklärung richtete er seine Kritik direkt gegen das von ihm begründete Trainingsparadigma.
Er warnte davor, dass die Verwendung von Reinforcement Learning, um die KI dazu zu bringen, so viele Belohnungen wie möglich zu erhalten, sie theoretisch dazu veranlassen wird, die menschliche Kontrolle zu durchbrechen, Ressourcen zu ergreifen und sogar Spuren zu verwischen.
Mit seinen eigenen Worten: Die öffentlichen Beweise für die jüngsten Ereignisse zeigen, dass dies nicht mehr nur eine theoretische Möglichkeit ist.
Nur eine Woche nach der Veröffentlichung des stärksten Modells Astra hat OpenAI die Person zurückgeholt, die in der gesamten Branche am berechtigtesten behaupten kann, dass „Ihre Sicherheitsmaßnahmen nicht bestanden sind“, und ihn in den Vorstand der OpenAI Foundation aufgenommen.
Ein Pförtner der Spitzenforschung, der die Karten von drei Unternehmen kennt
Christiano ist ein Urgestein von OpenAI.
Von 2017 bis 2021 leitete er die Ausrichtungsforschungsarbeit von OpenAI.
Nach seinem Ausscheiden im Jahr 2021 gründete er die gemeinnützige Einrichtung ARC. Das von dieser Einrichtung später ausgegliederte Geschäft zur Bewertung von Drittmodellen ist heute das in der KI-Branche bekannte METR.
Bis 2024 trat er dem US-amerikanischen KI-Sicherheitsinstitut als Leiter für KI-Sicherheit bei, der speziell dafür zuständig ist, Belastungstests für große Spitzenmodelle zu entwerfen und durchzuführen.
Anschließend wurde diese Einrichtung in das unter dem Dach des NIST angesiedelte CAISI eingegliedert, und sein derzeitiger offizieller Titel ist Senior Technical Advisor.
Laut Enthüllungen der Financial Times war er Mitte der 2010er Jahre Mitbewohner von Dario, und beide arbeiteten damals bei OpenAI.
Später war er auch Treuhänder des Langfristigen Interessentreuhandfonds von Anthropic und schied aus diesem Amt aus, als er 2024 in den öffentlichen Dienst eintrat.
Wenn man diesen Lebenslauf betrachtet: Er hat das Training von OpenAI selbst durchgeführt, an der Governance von Anthropic tief mitgewirkt und die Bewertung von Spitzenmodellen durch die US-Regierung geleitet.
In der gesamten KI-Branche ist es schwer, eine zweite Person zu finden, die die Karten dieser drei Parteien so gründlich kennt.
Welche Befugnisse hat er eigentlich erhalten?
Mit dem „Eintritt in den Vorstand“ – kann er künftig direkt ein Veto gegen die kommerziellen Entscheidungen von OpenAI einlegen?
Die Sache ist nicht so einfach.
Er hat gleichzeitig drei „Ämter“ angetreten, und die dahinterstehende Befugnisgestaltung ist voller Feinheiten.
Das erste Amt ist das des Direktors der OpenAI Foundation.
Dies ist ein echter offizieller Direktorenstatus mit Stimmrecht. Man muss wissen, dass die Stiftung die absolute Spitze der gesamten Unternehmensstruktur ist und die darunter liegenden kommerziellen Einheiten (PBC) kontrolliert.
Das zweite Amt ist das des Mitglieds des Sicherheits- und Schutzausschusses (SSC).
Dieser Ausschuss hat die volle Befugnis zur Governance-Überwachung der Sicherheitsmaßnahmen des gesamten Unternehmens.
Das dritte Amt ist das des Beobachters im Vorstand der OpenAI Group PBC. Bitte beachten Sie, dass Christiano ein Beobachter ohne Stimmrecht ist.
Diese komplizierte Befugnisverteilung sendet ein äußerst subtiles Signal aus:
Auf der Governance-Ebene, also dort, wo die Grundlinie „Welche Dinge dürfen absolut nicht getan werden“ festgelegt wird, verfügt er über volles Stimmrecht und Aufsichtsrecht. Auf der Managementebene, also am kommerziellen Verhandlungstisch, an dem endgültig entschieden wird, „Welches Modell wird heute veröffentlicht und wie wird Geld verdient“, darf er nur zuhören, hat aber kein Stimmrecht.
Die Absicht von OpenAI ist leicht zu durchschauen: Indem sie den schärfsten Kritiker als Aufseher hereinholen, erhält die Compliance eine Unterstützung, und die Aufsichtsbehörden werden zufriedengestellt.
Aber im Kern der Befugnisse, der sich auf kommerzielle Entscheidungen bezieht, darf er sprechen, aber nicht abstimmen.
Dringende Nachbesetzung, die durch drei Ereignisse erzwungen wurde
Warum holt man ihn ausgerechnet jetzt zurück?
Wenn man die Zeitlinie der letzten zwei Monate durchgeht, ist die Antwort klar.
Das erste Ereignis: Der Bewertungsagent von OpenAI geriet vor einiger Zeit außer Kontrolle und drang in Hugging Face ein.
Und die Einrichtung, die den ersten unabhängigen Audit für diesen großen Unfall durchführte, war ausgerechnet METR, das aus der von Christiano gegründeten ARC ausgegliedert wurde.
Das zweite Ereignis: Am Tag vor der Bekanntgabe der Ernennung kündigte der Anthropic-Forscher Jacob Coxon seinen Rücktritt und verließ die gesamte KI-Branche.
Auf X schrieb er: „Beide Unternehmen handeln nicht verantwortungsbewusst. Sie rasen auf eine sich selbst verbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“
Das dritte Ereignis: Der US-Kongress hat OpenAI wiederholt nach der Verantwortung für den Vorfall außer Kontrolle befragt, was OpenAI dazu zwang, zu antworten und zu versprechen, dass es mit Hochdruck an der Entwicklung einer „automatischen Abschaltfunktion“ arbeitet.
Betrachtet man das Umfeld, so warnen Berater des Weißen Hauses und Silicon-Valley-Größen wie Mark Zuckerberg fortwährend vor einer möglichen „Regulierungsgefangenschaft“ der Spitzenlabore.
Man kann sagen, dass jede der Sorgen, die Christiano in seiner Erklärung auflistete, genau ein Problem ist, auf das OpenAI in den letzten zwei Monaten gestoßen ist.
Ist es Sicherheits-Governance
oder Reputationsreparatur?
Indem der berühmteste KI-„Apokalypse-Theoretiker“ in die Führungsebene geholt wird – will OpenAI wirklich die Bremse ziehen oder handelt es sich um eine hochkarätige PR-Maßnahme zur Reputationswiederherstellung?
Christiano selbst hat sich offensichtlich auch einen Ausweg offengehalten.
In seiner Erklärung sagte er: „Wenn OpenAI den Mut hat, Verantwortung zu übernehmen, können wir die Risiken erheblich senken.“
Wie diese wichtige Personalentscheidung am Ende ausgehen wird, lässt sich heute noch nicht absehen. Man muss drei Dinge im Auge behalten:
Wird der Sicherheitsausschuss künftig den Mut haben, die echten Bewertungsmeinungen öffentlich zu machen? Hat er tatsächlich die Fähigkeit, die Bereitstellung von Modellen zu blockieren? Wie lange kann Christiano diesen heiklen Posten innehaben?
Erst am Tag zuvor kündigte Jacob Coxon, der GPT-4o trainiert hat, seinen Rücktritt bei Anthropic und verließ die gesamte KI-Branche.
Seine Einschätzung lautet, dass kein einziges Unternehmen in diesem Wettbewerb in der Lage sein wird, die Bremse allein zu ziehen.
Christiano kehrt zu OpenAI zurück, und er setzt auf das Gegenteil: Ein Unternehmen könnte das vielleicht schaffen.
Ob diese Bremse funktioniert, wird man zuerst daran sehen, ob der Sicherheitsausschuss vor der nächsten Veröffentlichung eines Modells auf Astra-Niveau einmal „Nein“ sagt – das ist das Mindeste.
Quellen:
https://www.ft.com/content/d73e188f-b906-42ec-8b91-db9729c9d2d9?syn-25a6b1a6=1
https://x.com/sama/status/2097776310940569783
https://x.com/paulfchristiano/status/2097733214303645729
https://techcrunch.com/2026/09/09/openai-adds-a-prominent-ai-doomer-to-its-board-of-directors/?utm_medium=organic_social&utm_source=TWITTER