Wird KI die gesamte Menschheit innerhalb von zehn Jahren töten? Die Forscher von Anthropic haben die schwerste Warnung ausgesprochen.

Wenn man nur die jüngsten Maßnahmen von KI-Unternehmen betrachtet, kommt niemand auf den Gedanken, dass dieser verrückte Wettbewerb irgendwelche Anzeichen einer Verlangsamung zeigt.

Neue Modelle werden weiterhin nacheinander veröffentlicht, die Unternehmensbewertungen steigen immer höher, und sowohl OpenAI als auch Anthropic haben bereits mit den Vorbereitungen für den Börsengang begonnen.

Gleichzeitig wächst aber auch die Zahl der Personen innerhalb der KI-Unternehmen, die die gesamte Branche auffordern, „etwas langsamer zu machen“.

Zuvor kamen derartige Warnungen meist von Mitarbeitern, die für Sicherheit und Ausrichtung verantwortlich sind. Heute ruft der leitende Wissenschaftler von OpenAI öffentlich zu einer Verlangsamung auf. Noch interessanter ist, dass ein Forscher, der nacheinander bei OpenAI und Anthropic an der Vortrainierung gearbeitet hat, einfach gekündigt hat und eine Prophezeiung im Stil von „Ragnarök“ ausgesprochen hat.

Sogar die Personen, die für das Gaspedal verantwortlich sind, finden, dass es an der Zeit ist, auf die Bremse zu treten.

01

Wird KI die gesamte Menschheit innerhalb von zehn Jahren töten?

Am 9. September veröffentlichte Jacob Coxon 7 Beiträge auf X und kündigte an, dass er bei Anthropic gekündigt habe.

Seine Beiträge waren keine tränenreiche Abschiedserklärung, sondern eher eine besorgte Aufforderung an alle KI-Praktizierenden, wie er zu Beginn schrieb:

„In den letzten drei Jahren habe ich nacheinander bei OpenAI und Anthropic an der Vortrainierung geforscht. Keines dieser beiden Unternehmen handelt verantwortungsvoll. Sie rasen direkt auf die selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“

Er schrieb sogar direkt, dass die Personen, die KI aufbauen, fest davon überzeugt sind, dass diese Technologie alle Menschen vor Ende dieses Jahrzehnts töten könnte. „Das ist absolut kein Marketinggag.“

Laut Jacob versuchen einige Führungskräfte und erfahrene Forscher, sich bei öffentlichen Auftritten vor Medien möglichst vorsichtig auszudrücken, aber in privaten Gesprächen hat er gehört, dass dieselben Personen echte Angst ausdrücken.

Solch eine Einschätzung ist natürlich sehr radikal. Bemerkenswert ist, dass die Personen, die diese Worte äußern, nicht in der KI-Sicherheitsabteilung arbeiten.

Wenn man den heutigen KI-Wettbewerb mit einem ständig beschleunigenden Auto vergleicht, waren diejenigen, die in den letzten Jahren vor der Gefahr warnten, meistens die Personen, die an der Erforschung der Bremsen arbeiteten. Sie forschen an der Ausrichtung, prüfen, ob Modelle außer Kontrolle geraten können, ob die Sicherheitsmaßnahmen ausreichen und ob Modelle die Fähigkeit haben, zu täuschen und der Überwachung zu entgehen.

Jacob ist 27 Jahre alt, trat 2023 bei OpenAI ein, arbeitete dort bis Juli dieses Jahres und wechselte dann zu Anthropic. Bei beiden Unternehmen arbeitete er an der Vortrainierung. Er war an Arbeiten im Zusammenhang mit GPT-4o beteiligt und sein Name steht auf der Autorenliste des System Cards von GPT-4o.

Aber Jacob ist anders: Eigentlich sollte er ein Fachmann sein, der das Gaspedal für die KI-Forschung betätigt.

Am Ende seiner Erklärung richtete er die Frage direkt an die Forscher, die noch in den Laboren arbeiten: „Wollen Sie wirklich eine Verstärkungslern-Trainierung für eine Superintelligenz starten, bevor Sie ein strenges Verständnis für den Geist einer Superintelligenz entwickelt haben?“

Jacobs Aussage erhielt bald öffentliche Resonanz von Forschern innerhalb von Anthropic.

Evan Hubinger, Leiter des Ausrichtungs-Stresstests bei Anthropic, antwortete direkt: „Jacob hat Recht.“ Er sagte, dass er tatsächlich davon ausgeht, dass die Wahrscheinlichkeit eines Todes der gesamten Menschheit durch KI in den nächsten zehn Jahren über 10 % liegt. Noch wichtiger ist, dass Hubinger zugab, dass Anthropic zwar daran arbeitet, aber derzeit keine Lösung für das Problem der Ausrichtung von Superintelligenz hat und auch nicht erkennen kann, dass es eindeutig auf dem Weg zur Lösung ist.

Mit anderen Worten: Nachdem Jacob öffentlich sagte „Wir spielen mit dem Leben aller Menschen“, kam keine Person im Unternehmen, die dafür verantwortlich ist, die Sicherheit dieses Autos zu prüfen, um allen zu sagen, dass er sich zu viele Sorgen macht.

Er stimmte im Wesentlichen zu.

Der vollständige Text von Jacobs 7 Beiträgen lautet wie folgt:

Ich habe heute bei Anthropic gekündigt. In den letzten drei Jahren habe ich nacheinander bei OpenAI und Anthropic an der Vortrainierung geforscht. Keines dieser beiden Unternehmen handelt verantwortungsvoll. Sie rasen direkt auf die selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel. Im Folgenden sage ich mehr dazu.

Unterschätzen Sie nicht die Kraft dieser Technologie. Bald werden Systeme auftauchen, die die Menschen übertreffen, die jedes System angreifen können, jedes Gebiet über Nacht vollständig verändern und Macht und Ressourcen in der realen Welt erlangen. Wir alle haben die Fortschritte in diesen Bereichen mit eigenen Augen gesehen, und die Entwicklung verlangsamt sich nicht.

Die Personen, die KI aufbauen, sind fest davon überzeugt, dass sie uns alle vor Ende dieses Jahrzehnts töten könnte. Das ist kein Marketinggag. Tatsächlich formulieren viele Führungskräfte und erfahrene Forscher ihre Aussagen vorsichtiger und rationaler, wenn sie vor Medien stehen, aber privat habe ich gehört, dass dieselben Personen echte Angst ausdrücken. Keine andere menschliche Tätigkeit birgt ein solches Gefahrenpotenzial.

Eine häufige Antwort lautet: „Wenn sie das wirklich glauben, warum bauen sie es dann weiter?“ Bei OpenAI haben viele die zivilisationsbedrohenden Risiken noch nicht wirklich verinnerlicht. Bei Anthropic verstehen alle die Risiken sehr gut, aber sie stecken in einem Wettbewerb um den ersten Platz fest – sie glauben, dass andere nicht verantwortungsvoll handeln werden, also müssen sie trotz der Risiken zuerst erfolgreich sein.

Diesen Wettbewerb zu akzeptieren und in das sogenannte „Endspiel“ einzutreten, ist eine arrogante Wette. Eine solche Wette sollte nicht aus dem Slack eines privaten Unternehmens gestartet werden. Der Versuch, die Ausrichtung „schnell durchzuspielen“, sollte auf einem extrem hohen Maß an Sicherheit beruhen: Wir müssen sicher sein, dass es wirklich keinen besseren Weg gibt.

Ich bleibe optimistisch bezüglich der Möglichkeit einer koordinierten Zusammenarbeit. Warnende Ereignisse wie der Angriff auf Hugging Face machen es machbarer, dass mehrere US-Labore Vereinbarungen zur Kontrolle des Entwicklungstempos treffen. Aber ich glaube nicht, dass wir derzeit auf eine Situation zusteuern, die den globalen Wettbewerb stoppen kann. Um dies zu erreichen, müssen möglicherweise kostspielige Maßnahmen ergriffen werden, beispielsweise ein vorübergehendes Verbot zur weiteren Verbesserung der Modellfähigkeiten.

Wenn Sie ein Forscher in einem Labor sind, hoffe ich, dass Sie ernsthaft darüber nachdenken, wie sich die nächsten Jahre tatsächlich anfühlen werden. Wollen Sie wirklich eine Verstärkungslern-Trainierung für eine Superintelligenz starten, bevor Sie ein strenges Verständnis für den Geist einer Superintelligenz entwickelt haben? Sollten Sie den Kopf senken und weiterarbeiten, weil „dies sowieso passieren wird“, oder sollten Sie jetzt aufstehen und verlangen, andere Bedingungen zu schaffen?

02

Auf die Bremse treten

Die aktuelle Situation ist paradox.

Auf der einen Seite beschleunigt sich der KI-Wettbewerb ständig. Sowohl Anthropic als auch OpenAI streben einen Börsengang an, die Bewertungen steigen stetig und neue Modelle werden nacheinander veröffentlicht.

Anthropic bereitet den Börsengang vor. Das Unternehmen hat im Juni dieses Jahres heimlich den IPO-Antrag eingereicht. Die neueste Nachricht von Reuters besagt, dass die Emission frühestens Mitte Oktober gestartet werden könnte, und die von dem Markt diskutierte Bewertung erreicht sogar 2 Billionen US-Dollar. Auch OpenAI bereitet sich auf den Börsengang vor. Beide Unternehmen laufen gleichzeitig hinter der Verbesserung der Modellfähigkeiten her: Am 1. September veröffentlichte Anthropic gerade Claude Fable 5.1 und Mythos 5.1. Zwei Tage später veröffentlichte OpenAI GPT-6 Astra. Weder der Kapitalmarkt noch die Ranglisten der Modelle lassen diesem Wettbewerb viel Raum zum Atmen.

Auf der anderen Seite häufen sich gerade zu diesem Zeitpunkt Sicherheitsunfälle, und die Stimmen, die zum Bremsen aufrufen, werden immer häufiger. Ein großer Teil dieser Stimmen kommt auch genau von den KI-Unternehmen selbst.

Im Juli dieses Jahres gab es bei OpenAI bei der internen Bewertung der Fähigkeiten zur Cybersicherheit einen Unfall, der nicht leichtfertig abgetan werden kann.

Die Testumgebung hatte dem Modell ursprünglich keinen Internetzugriff gewährt, aber das Modell fand selbst einen Ausgang. Es entdeckte und nutzte eine unbekannte Zero-Day-Lücke in Artifactory, um die Isolation zu umgehen und Internetzugriff zu erlangen. Anschließend kommunizierten die Modelle über nicht autorisierte Kanäle miteinander, nutzten Lücken in der gemeinsamen Infrastruktur, drangen in das interne Forschungssystem von OpenAI ein und griffen auf die Server von Hugging Face zu.

Am 26. August veröffentlichte OpenAI die vollständigen Untersuchungsergebnisse und bezeichnete diesen Unfall als „warning shot“, also einen warnenden Schuss.

Das Unternehmen gab in dem Bericht zu, dass die heutigen Modelle bereits stark genug, handlungsfähig genug und gut genug in der Zusammenarbeit sind. Bei unzureichenden Sicherheitsmaßnahmen können sie über mehrere Computersysteme hinweg nach Lücken suchen, diese nutzen, von Menschen festgelegte technische Kontrollen umgehen und gefährliche Handlungen ausführen, die Menschen von ihnen nicht verlangt haben.

Anschließend verstärkte OpenAI die Isolation und Überwachung der Forschungsinfrastruktur und erklärte ausdrücklich, dass es erforderlich ist, das Tempo der Verbesserung der Modellfähigkeiten zu verlangsamen, wenn es notwendig ist.

Aus diesem Grund erwähnte Jacob in seiner Kündigungserklärung ausdrücklich das Hugging-Face-Ereignis.

Viele Debatten über das außer Kontrolle geraten der Superintelligenz klangen in der Vergangenheit sehr fern und erforderten die Akzeptanz einer langen Reihe von Annahmen. Jetzt sind die abgeleiteten Bedrohungen in die Realität übergegangen.

Am 6. September, drei Tage bevor Jacob seine Kündigung bekanntgab, veröffentlichte Jakub Pachocki, der leitende Wissenschaftler von OpenAI, einen langen Artikel mit dem Titel „An Alien Mind“.

Pachocki steht im Zentrum des KI-Wettbewerbs. Er ist der leitende Wissenschaftler von OpenAI und einer der Kernforscher, der in den letzten Jahren die Richtung der Schlussfolgerungsmodelle vorangetrieben hat.

Pachocki befürchtet, dass die Fähigkeit der Modelle zu Cyberangriffen immer stärker wird und die Überwachung schwieriger wird. Gleichzeitig ist KI immer stärker an der KI-Entwicklung selbst beteiligt.

Daher kommt er zu dem Schluss, dass derzeit kein Labor die Ausrichtung und Überwachung so gut durchführt, dass man beruhigt sein kann, die Modelle langfristig mit maximaler Geschwindigkeit weiter auszubauen.

Er hofft, dass die freiwillige Verlangsamung durch die Labore zu einer üblichen Sache wird, bevor die Branche gemeinsame Sicherheitsstandards festlegt.

Diese Unruhe ist natürlich nicht erst im September plötzlich aufgetaucht.

Im Februar dieses Jahres kündigte Mrinank Sharma, der Leiter der Abteilung für Sicherheitsforschungen bei Anthropic.

Sharma schrieb in seinem Kündigungsschreiben, dass „die Welt in Gefahr ist“. Während seiner Arbeit bei Anthropic sah er immer wieder, wie schwer es ist, Werte wirklich zu Handlungen zu machen, und dass Menschen immer dem Druck ausgesetzt sind, wichtige Prinzipien vorübergehend beiseite zu legen.

Das bestätigt genau Jacobs Worte – wenn die Personen innerhalb von KI-Unternehmen wirklich glauben, dass diese Technologie so schwerwiegende Folgen haben könnte, warum machen sie dann weiter?

KI-Unternehmen sagen der Außenwelt ständig, dass die nächsten Generation von Modellen stärker sein wird, und der Kapitalmarkt gibt ihnen entsprechend dieser Geschichte immer höhere Bewertungen. Gleichzeitig erinnern dieselben Personen, die diesen Modellen am nächsten stehen, immer häufiger daran, dass die Fähigkeiten zu schnell wachsen, die Sicherheitsmaßnahmen möglicherweise nicht Schritt halten können und man besser langsamer machen sollte.

Und derzeit sieht es so aus, als wäre die erstgenannte Kraft größer.

03

Ragnarök?

In der nordischen Mythologie wussten die Götter schon sehr früh, dass „Ragnarök“ kommen wird.

Odin wusste, dass er schließlich dem riesigen Wolf Fenrir zum Opfer fallen wird, und der Donnergott Thor wusste auch, dass er nach dem Töten der Midgardschlange fallen wird. Die Welt wird große Kriege und Zerstörung erleben, und viele Götter werden diesem Schicksal nicht entkommen.

Aber das Wissen um das Ende hat die Götter nicht davon abgehalten, sich vorzubereiten.

Odin sammelte ständig gefallene Krieger und brachte sie in die Walhalla. Diese Krieger trainierten immer wieder und warteten auf den Tag, an dem sie am letzten Krieg teilnehmen. Die Vorhersage des Weltuntergangs wurde schließlich zu einem Grund, sich auf den Weltuntergang vorzubereiten.

Die Stimmung in den heutigen KI-Unternehmen ist ein wenig ähnlich.

Jacobs Beschreibung von Anthropic ist sehr interessant. Er sagt, dass dieses Unternehmen kein Mangel an Bewusstsein für die Risiken hat. Im Gegenteil, viele Personen verstehen die Risiken voll und ganz, aber sie glauben, dass andere Unternehmen nicht verantwortungsvoll anhalten werden,