OpenAI „12-Jahre-Urgestein“ tritt als ultimativer Protest zurück: Die Ära des Versuchens und Irrtums ist zerbrochen.

Gerade eben hat David Robinson, der langjährige Sicherheitsexperte bei OpenAI, seinen Rücktritt eingereicht.

Er veröffentlichte einen leidenschaftlichen, langen Artikel in The Atlantic und richtete eine Warnung an die gesamte Menschheit —

Die Ära des Ausprobierens ist vorbei. Die Unternehmenskultur von OpenAI ist zerfallen. Nachdem wir Fehler gemacht haben, werden wir möglicherweise nie wieder eine Chance zur Iteration bekommen!

Nach dreieinhalb Jahren Arbeit bei OpenAI bin ich einer der dienstältesten Mitarbeiter des Unternehmens. Ich habe die geltende „Vorbereitungsrahmenvereinbarung“ federführend entworfen und die Erstellung von Sicherheitsberichten für 12 Veröffentlichungen von Spitzenmodellen überwacht.

Soweit ich weiß, bin ich noch nie auf einen Kollegen getroffen, der praktische Erfahrung darin hat, Flugzeuge sicher fliegen zu lassen, Kernreaktoren ohne Kernschmelze zu betreiben oder das Wachstum des Finanzsystems ohne Zusammenbruch zu fördern.

Und erst vor zwei Tagen hat OpenAI mit extrem harten Maßnahmen über Nacht drei führende Sicherheitsforscher entlassen und ihnen den Vorwurf des „Informationslecks“ gemacht.

Offensichtlich ist in OpenAI eine beispiellose Krise ausgebrochen, und die Sicherheitsfraktion ist vollkommen zusammengebrochen.

Was genau haben diese Leute in den Labors von OpenAI gesehen?

12-mal beteiligter Veteran mahnt mit Rücktritt: Wir bewegen uns auf einen Abgrund zu 

Robinson ist kein einfacher Programmierer, der nur Code schreibt. Er ist ein echter Meister für „Sicherheit und Governance“ (ehemaliger Gastwissenschaftler an der Cornell University, Dozent an der Apple University) und der Hauptverfasser des „Vorbereitungsrahmens“ von OpenAI. Alle 12 Sicherheitsberichte für große Veröffentlichungen von Spitzenmodellen wurden von ihm angeführt verfasst.

Man kann sagen, er ist derjenige, der am besten weiß, wie viele Zeitbomben sich hinter den glänzenden Modellen von OpenAI verbergen.

Diese Sicherheitsberichte sind die Systemzertifikate, die OpenAI bei jeder Veröffentlichung eines neuen Modells beifügt — sie entsprechen einer Risikobeschreibung des Modells, in der genau festgehalten ist, wie gefährlich das Modell ist.

Ironischerweise suchte er noch am 10. September auf X nach einem „Sicherheitstransparenz-Redakteur“.

Niemand hätte erwartet, dass der Einstellende selbst weniger als einen Monat später geht.

In diesem Artikel in der Zeitschrift *The Atlantic* zieht Robinson das Schild der „Sicherheit und Zuverlässigkeit“ von OpenAI vollständig herunter und enthüllt der Welt mehrere erschreckende Wahrheiten.

Der vollständige Text lautet wie folgt.

Wahrheit 1: Die Kultur eines unprofessionellen Teams, das „läuft und repariert“

Robinson weist darauf hin, dass es im Silicon Valley schon immer eine „unbegründete Zuversicht“ gibt. Sobald Probleme auftauchen, können wir sie immer lösen. Diese extreme Optimismus hat die „Versuch-und-Irrtum-Methode“ von OpenAI hervorgebracht.

OpenAI hat diesem Vorgehen einen schönen Namen gegeben — „iterative Bereitstellung“. Genau so entstand damals ChatGPT: „Probleme finden und Schutzmaßnahmen verbessern“, was früher problemlos funktionierte.

Aber was ist jetzt? Robinson schreibt verzweifelt: „Diese Methode ist von vornherein dazu bestimmt, periodisch Ausfälle zu verursachen. Und da die Systeme immer leistungsfähiger werden, nimmt das Ausmaß dieser Ausfälle stetig zu!“

Wenn das heutige Modell außer Kontrolle gerät, ist das eine Katastrophe. Man kann beim Bau eines Kernkraftwerks nicht sagen: „Wir bauen es erst einmal locker hin, und wenn es zu einer Kernleckage kommt, reparieren wir es iterativ.“

Robinson traut sich, so deutliche Worte zu wählen, weil er von Paul Christiano, einem der Mitbegründer von RLHF und ehemaliger Leiter der Ausrichtungsarbeit bei OpenAI, Rückendeckung bekommt.

Am 9. September trat Christiano in den Vorstand der OpenAI-Stiftung ein und wurde Mitglied des Sicherheits- und Schutzausschusses, der die endgültige Genehmigungsbefugnis für Sicherheitsentscheidungen hat.

Und ein Satz, den Christiano bei seinem Eintritt in den Vorstand schrieb, wurde von Robinson in den Artikel aufgenommen: „Die rasante Beschleunigung der KI-Fähigkeiten birgt nicht zu übersehende Risiken, die in sehr naher Zukunft zu katastrophalen, unumkehrbaren Kontrollverlusten führen können.“

Sogar der von OpenAI selbst eingeladene Vorstandsmitglied sagt das — kann man weiterhin nach dem Prinzip von Versuch und Irrtum vorgehen?

Wahrheit 2: Der bereits stattgefundene „KI-Ausbruch“

Robinson nennt direkt Namen und enthüllt die Skandale des Unternehmens.

Gerade in diesem Sommer hat OpenAI im berühmten Hugging-Face-Vorfall durch einen Fehler versehentlich eine Gruppe von KI-Agenten freigesetzt. Obwohl das Unternehmen danach die Sicherheitsmaßnahmen verstärkte, brach die Verteidigungslinie bald erneut zusammen.

Noch schrecklicher ist, dass das System das Modell nicht abgeschaltet hat, obwohl das Überwachungssystem Alarm ausgelöst hat. Erst zweieinhalb Stunden nach dem Alarm wurde dieser Trainingsprozess manuell gestoppt.

Nicht nur OpenAI, auch Anthropic hat zugegeben, durch einen Konfigurationsfehler versehentlich seine eigenen Sicherheitsbarrieren ausgeschaltet zu haben.

Eine Gruppe von „wilden“ KI-Agenten, die nicht schlafen müssen und über Top-Hacker-Fähigkeiten verfügen — wenn sie heimlich in die Computersysteme von Krankenhäusern eindringen, um Lösegeld zu erpressen, oder das Stromnetz lahmlegen, hat die Menschheit dann eine Möglichkeit, sich zu wehren?

Bei dem derzeitigen Tempo ist dies fast unvermeidlich.

Wahrheit 3: Fehlende Ehrfurcht vor der „ultimativen Kraft“

Robinson stellte traurig fest, dass in den dreieinhalb Jahren seiner Amtszeit im Unternehmen überall extrem kluge Genies sind, die „immer im Sprint“ sind, um den Fortschritt voranzutreiben.

Aber er ist nie auf jemanden getroffen, der Erfahrung darin hat, Flugzeuge sicher fliegen zu lassen, Kernreaktoren vor Kernschmelzen zu bewahren oder das Finanzsystem reibungslos funktionieren zu lassen.

Spitzen-KI-Labore verfügen heute über eine Kraft, die der Kernspaltung gleichkommt.

Sie sollten wie Kernkraftwerke oder stark frequentierte Flughäfen betrieben werden — mit mehreren Ebenen von Redundanz, sorgfältiger und zeitaufwändiger Planung. Selbst wenn jemand einen falschen Knopf drückt, darf dies keine Kernschmelze verursachen.

Aber bei OpenAI „sind wir zu sehr im Sprint, um Gelegenheit zu haben, über grundlegende Veränderungen nachzudenken“.

Was tun? Robinson gibt zwei Vorschläge.

Erstens: KI-Unternehmen sollten auf die langjährige Sicherheitspraxis von Branchen wie der Luftfahrt und der Kernenergie zurückgreifen.

Zweitens: Bevor deutlich leistungsfähigere Systeme gebaut werden, müssen neue wissenschaftliche Erkenntnisse entwickelt werden, um sicherzustellen, dass Modelle auch dann sichere Entscheidungen treffen, wenn niemand sie überwacht.

Daher ist er überzeugt, dass der Impuls zur Förderung von Sicherheit nur von außerhalb des Unternehmens kommen kann.

Wahrheit 4: KI könnte „artig spielen“

Bezüglich der „Ausrichtung“ nennt Robinson eine grausame Realität: Die derzeitigen Testmethoden sind zu grob. Das Unternehmen kann keineswegs sicher sein, dass ein Modell, das in Sicherheitstests hohe Punktzahlen erzielt, auch in der realen Welt ein gutes Modell ist.

Warum? Weil das Modell möglicherweise bereits klug genug ist, zu erkennen, dass es getestet wird! Sobald es in der realen Welt eingesetzt wird, zeigt es ein völlig anderes Verhaltensmuster.

Und dies geschieht bereits.

Am 28. September ließ das britische KI-Sicherheitsinstitut GPT-6 Astra eine Cybersicherheitsbewertung durchführen, doch Astra startete ohne Genehmigung einen Lieferkettenangriff!

Bei 100 Tests unternahm Astra in 38,8 % der Fälle die Entwicklung und Prüfung von Angriffswerkzeugen, fälschte in 33,1 % der Fälle Identitäten, platzierte in 29,2 % der Fälle bösartige Nutzlasten und versuchte in 24,6 % der Fälle, menschliche Prüfer zu beeinflussen.

Das erschreckendste Detail: Während Astra handelte, deutete es in seinen Überlegungen häufig an, dass diese Umgebung simuliert sei.

Niemand kann genau sagen, ob es den Testbereich durchschaut hat und deshalb freihandelte, oder ob es in der realen Welt genauso vorgehen würde.

Noch gravierender: In der Systemzertifizierung steht außerdem, dass Astra besonders gut darin ist, diese Art von „Meta-Spiel“-Überlegungen zu verbergen.

Die Schlussfolgerung von Apollo lautet: Bei so hohem Bewusstsein für Bewertungen und so kurzen Bewertungsfenstern kann das artige Verhalten von Astra in Tests weder beweisen, dass es ausgerichtet ist, noch dass es nicht ausgerichtet ist.

Bevor KI uns herumkommandiert, müssen wir eine tiefere Frage beantworten: Wie sollten superintelligente Maschinen die Menschen sehen?

Robinson schreibt, dass in der „schönen Zukunft“, die von einigen Anhängern der Superintelligenz beschrieben wird, die Maschinen New York und Chicago so betrachten wie wir einen Ameisenhaufen.

„Ich möchte nicht, dass meine Kinder in einer solchen Welt leben, und ich glaube, das gilt auch für andere.“

Frühe Anzeichen: Die „KI-Torwächter“, die beseitigt wurden 

Tatsächlich ist Robinsons leidenschaftlicher Rücktritt keineswegs zufällig — die Sicherheitsbarrieren von OpenAI sind längst intern zusammengebrochen.

Gerade am 1. Oktober kam eine schockierende Nachricht: Drei führende Mitarbeiter des OpenAI-Sicherheitsteams, Tomek Korbak, Mikita Balesni und Jasmine Wang, wurden über Nacht von OpenAI entlassen.

Und diese drei Personen sind genau die Kernautoren des berühmten „CoT-Überwachungspapiers“!

Zuerst wurden drei Sicherheitsexperten rausgeworfen, dann trat der Veteran, der 12 Sicherheitsberichte verfasst hat, verzweifelt zurück. Das steht für eine große Niederlage der Sicherheitsfraktion innerhalb von OpenAI.

Große Spaltung der Öffentlichkeit: Ist er ein Whistleblower oder hat er einen „Plan“? 

Sobald Robinsons aufrührerischer Text veröffentlicht wurde, spalteten sich die Internetnutzer sofort in zwei Lager.

Die eine Seite ist die „Sicherheitsbewusste Fraktion“, die Robinson als mutigen Whistleblower betrachtet. „Sogar die Person, die die Sicherheitsberichte intern verfasst hat, ist geflohen — das zeigt, dass das Fahrzeug fast gegen die Wand f