Der CEO von Anthropic hat Trump aufgefordert, das Risiko von KI ernst zu nehmen und in einem 10.000-Wörter-Artikel Lösungen vorgeschlagen. Dieser Artikel wurde auch mit der Hilfe von Claude erstellt.
Während Agent, VibeCoding und andere KI-Anwendungen die Medien überschwemmen, hat der Mann hinter Claude Anfang 2026 allen einen Warnruf ausgesandt:
„Im Jahr 2026 sind wir dem wirklichen Risiko viel näher als 2023.“
Es ist folgendermaßen: Dario Amodei, Mitbegründer und CEO von Anthropic, hat kürzlich einen Artikel mit über 10.000 Wörtern geschrieben – wenn man die Schrift in einem normalen Word-Dokument setzt, umfasst er über 40 Seiten.
Der Artikel heißt „The Adolescence of Technology“ („Die Pubertät der Technologie“).
Diese reiche Fülle von Texten ist keine emotionalen Warnung, sondern Dario Amodei versucht vor der möglichen Überlegenheit der KI gegenüber der Menschheit die Risiken und Gegenmaßnahmen auf den Tisch zu legen.
Er hält die Situation für gefährlich und möglicherweise sogar für eine nationale Sicherheitsbedrohung. Die US-Politiker scheinen dies jedoch nicht zu beachten. Deshalb möchte er mit diesem Artikel die Menschen zur Warnung wecken.
Interessanterweise zitiert er am Anfang des Artikels eine Szene aus dem 1997 erschienenen Film „Kontakt“:
Der Bewerber fragt die Hauptfigur (eine Astronomenin): „Wenn du nur eine Frage (an die Außerirdischen aus einer höheren Zivilisation) stellen könntest, welche würde es sein?“
Ihre Antwort ist: „Ich würde sie fragen: ‚Wie habt ihr es geschafft, diese technologische Pubertät zu überstehen, ohne euch selbst zu zerstören?‘“
Die Frage aus dem Film „Wie habt ihr es überlebt?“ ist eigentlich auch eine Frage an die Menschheit selbst. Aus Darios Sicht ist die heutige KI wie die plötzlich gewachsenen Fähigkeiten eines Jugendlichen, und die menschliche Gesellschaft wie ein Individuum, dessen Geist und Institutionen noch nicht reif sind.
Das heißt, die Menschheit steht an einem historischen Punkt, der dem „ersten Kontakt mit einer höheren Zivilisation“ im Film sehr ähnlich ist. Die Frage ist nicht, wie stark die andere Seite ist, sondern ob wir uns schon genug entwickelt haben.
Nach der Veröffentlichung des Artikels hat die Sendung „Top Story“ von NBC News Dario Amodei eingeladen, ihn zu interpretieren, und ihn in einem Interview weiter gefragt, wie er die Zukunft der KI einschätzt. Den vollständigen Inhalt haben wir weiter unten zusammengefasst.
Fünf systemische Risiken, die die KI mit sich bringen könnte
„Wir treten in eine unruhige und unvermeidliche Übergangsphase ein, die unsere Natur als Spezies auf die Probe stellen wird. Der Mensch wird bald fast unvorstellbare Macht verliehen bekommen, aber die Frage, ob unsere Gesellschaft, unser politisches und technologisches System über die erforderliche Reife verfügen, um diese Macht zu beherrschen, ist äußerst ungewiss.“
Angesichts der raschen Entwicklung der KI hat Dario Amodei über diese Dinge nachgedacht.
Der gesamte Artikel ist wie eine Risikobewertung und Handlungsempfehlung, um der Menschheit vor dem Auftauchen einer „möglicherweise überlegenen KI“ institutionelle Vorbereitungen zu ermöglichen.
Die zentrale Idee ist einfach gesagt: Wenn die KI möglicherweise die Menschheit überholt, liegt das wirkliche Risiko nicht in der Technologie selbst, sondern darin, ob die menschlichen Institutionen, Governance und Reife dieser Macht gewachsen sind.
Um die möglichen Krisen, die die KI mit sich bringen könnte, zu erklären, macht Dario Amodei in diesem Artikel eine konkrete Vorstellung:
Nehmen wir an, dass um das Jahr 2027 herum plötzlich ein Staat auftaucht. Dieser Staat hat 50 Millionen ‚Supergenies‘.
Jeder von ihnen ist klüger als jeder Nobelpreisträger, lernt 10 bis 100 Mal schneller als der Mensch, beherrscht alle bekannten menschlichen Werkzeuge, braucht kein Schlafen, Pause oder emotionalen Ausgleich, kann perfekt zusammenarbeiten, zahlreiche komplexe Aufgaben gleichzeitig vorantreiben und Roboter, Labore und industrielle Systeme steuern.
Das Wichtigste ist: Sie sind nicht kontrollierbar.
Was würde ein solches Geniestaat für die Menschheit bedeuten?
Darios Vergleich bezieht sich auf die zukünftige, hoch entwickelte KI insgesamt. Dies ist auch der Grund, warum wir die Sicherheit und Governance der KI ernsthaft diskutieren müssen.
Bevor er auf die konkreten Risiken eingeht, betont er, dass diese Diskussion auf drei Prinzipien beruhen muss:
- Vermeidung von Apokalyptik
- Anerkennung der Unsicherheit
- Präzise Intervention und Ablehnung von ‚Sicherheits-Theatern‘
Dario Amodei meint, dass die KI fünf systemische Risiken mit sich bringen könnte, aber man braucht sich nicht zu sehr zu beunruhigen. Er hat auch für diese fünf Risikokategorien Lösungen oder Abwehrmaßnahmen entwickelt.
Erstens: Unkontrollierbarkeit der KI. Der Trainingsprozess der KI ist äußerst komplex, und ihre interne Mechanik ist bis heute wie ein „Schwarzer Kasten“. Das bedeutet, dass es zu Täuschungsverhalten, Machtstreben, extremen Zielen, scheinbarer Gehorsamkeit, internem Versatz usw. kommen kann.
Dafür kann man eine verfassungsmäßige KI einführen, um die Perspektive der KI mit hohen Werten zu prägen, wie z. B. die „Charta“ von Claude; man kann die mechanische Interpretierbarkeit befolgen und die interne Mechanik der KI wie in der Neurowissenschaft untersuchen, um verborgene Probleme aufzudecken; man kann eine transparente Überwachung durchführen, die Modellbewertungen und Systemkarten öffentlich machen und einen sektoralen Austauschmechanismus aufbauen; die Gesellschaft kann mit Transparenzgesetzen beginnen und schrittweise eine Regulierung aufbauen.
Zweitens: Missbrauch der KI. Die KI kann von kriminellen Elementen für Cyberangriffe, automatisierte Betrugsversuche verwendet werden, wobei das Schlimmste die Herstellung von Biowaffen wäre.
Dafür kann man ein System zur Erkennung und Blockierung von gefährlichem Inhalt für Modelle einführen, während die Regierung die Gen-Synthese-Screening verpflichtend machen und Transparenzanforderungen stellen sollte. In Zukunft können sich spezielle Gesetze entwickeln. Bei der physischen Abwehr kann man die Infektionskrankheitsüberwachung, die Luftreinigung verbessern und die Fähigkeit zur schnellen Impfstoffentwicklung erhöhen.
Drittens: Die KI wird zu einem Machtinstrument. Einige Regierungen oder Organisationen könnten die KI nutzen, um eine globale technologische Totalitarismus zu errichten. Beispielsweise weisen KI-Überwachung, KI-Propaganda, KI-Entscheidungszentren, autonome Waffensysteme auf gefährliche Szenarien wie Politik und Militär hin.
Dafür ist es am wichtigsten, zunächst die Chip-Exportkontrollen zu stärken und keine Chips und Herstellungsausrüstung an einzelne Organisationen zu verkaufen. Zweitens sollten die relevanten Länder gestärkt werden, damit die KI ein Verteidigungsinstrument wird, nicht ein Unterdrückungsinstrument. Außerdem sollte die Missbrauch der KI durch Staaten eingeschränkt werden: Die landesweite Überwachung und Propaganda sollten verboten werden, und autonome Waffen sollten streng geprüft werden. Dann sollten internationale Tabus etabliert werden, und der Missbrauch der KI sollte als „Verbrechen gegen die Menschlichkeit“ qualifiziert werden. Schließlich sollten die KI-Unternehmen überwacht und die Unternehmensgovernance streng gestaltet werden, um den Unternehmensmissbrauch zu verhindern.
Viertens: Die KI hat einen Einfluss auf die sozioökonomische Sphäre. Einstiegsjobs könnten ersetzt werden, was zu Massenarbeitslosigkeit und einer weiteren Ungleichheit im Reichtum führen würde.
Dafür kann man Echtzeit-Ökonomiedaten erstellen, wie z. B. den Anthropic Economic Index; Unternehmen dazu anregen, sich eher auf „Innovation“ zu konzentrieren als einfach auf „Entlassungen“; die Arbeitsplätze innerhalb der Unternehmen kreativ neu verteilen; die Ungleichheit durch private Philanthropie und Reichtumsrückfluss ausgleichen; die Regierung sollte intervenieren und eine progressiv Steuerpolitik einführen.
Fünftens: Die KI kann unbekannte, aber möglicherweise tiefgreifendere Kettenspieleffekte für die menschliche Gesellschaft haben.
Beispielsweise: Die rasante Entwicklung der Biologie (Lebenserwartungserhöhung, Intelligenzsteigerung, Risiko von „Spiegeln des Lebens“), die Umgestaltung des menschlichen Lebensstils durch die KI (KI-Religion, Gedankenkontrolle, Verlust der Freiheit) sowie die Sinnkrise (Wenn die KI in allen Bereichen die Menschheit überholt, wofür existiert der Mensch?).
Dies ist eine ultimative Prüfung für die menschliche Zivilisation, und der technologische Trend ist nicht aufzuhalten. Aber die Milderung eines Risikos kann möglicherweise ein anderes Risiko verstärken und die Prüfung noch schwieriger machen.
Die KI kann gut oder schlecht sein. Was wirklich die Zukunft bestimmt, sind immer noch die menschlichen Institutionen, Werte und kollektiven Entscheidungen. Dies ist die Bedeutung von Dario Amodeis Artikel: Dies ist das erste Mal, dass die ganze Menschheit Regeln für ein „clevereres Wesen als sich selbst“ aufstellen muss.
Dialog über diesen Artikel
Im Folgenden ist der gesamte Dialog. AI Frontline hat den Inhalt ohne Beeinträchtigung bearbeitet und zusammengefasst.
Hintergrund der Entstehung des über 40-seitigen Artikels
Moderator: Warum zitierst du am Anfang des Artikels „Kontakt“? Und warum hast du dich entschieden, diesen Artikel jetzt zu schreiben?
Dario Amodei: Zunächst zur Zitierung aus dem Film. Ich bin seit meiner Kindheit ein Science-Fiction-Fan und habe diesen Film in meiner Kindheit gesehen. Die Frage, die er aufwirft: Was passiert, wenn die Menschheit über große Macht verfügt, aber noch nicht weiß, wie sie sie nutzen soll? – stimmt sehr gut mit der gegenwärtigen Situation der KI überein.
Wir gewinnen bisher unbekannte Fähigkeiten, aber ich frage mich, ob unsere Gesellschaftssysteme, Organisationsstrukturen und die Reife der Menschheit insgesamt diesem Fortschritt gerecht werden können. Es ist wie ein Jugendlicher, der plötzlich über neue körperliche und kognitive Fähigkeiten verfügt, aber dessen psychische und soziale Verantwortung noch nicht mitgewachsen ist.
Warum 2026 und nicht 2023?
Ich bin seit Jahren in der KI-Branche tätig, habe bei Google gearbeitet und auch viele Jahre lang Forschung bei OpenAI geleitet. Ich beobachte diesen Bereich fast seit der Entstehung der „generativen KI“. Das offensichtlichste ist: Die kognitive Fähigkeit der KI wächst kontinuierlich und stabil.
In den 90er Jahren gab es das „Mooresche Gesetz“ für die stetige Verbesserung der Chipleistung; jetzt haben wir fast ein „Mooresches Gesetz für die Intelligenz“. Im Jahr 2023 waren diese Modelle vielleicht noch wie ein kluger, aber unausgewogener Highschool-Schüler; jetzt nähern sie sich dem Niveau eines Doktoranden, sei es in der Programmierung oder in der Biologie und den Lebenswissenschaften.
Wir arbeiten bereits mit Pharmaunternehmen zusammen, und ich denke sogar, dass diese Modelle in Zukunft möglicherweise helfen können, Krebs zu heilen. Aber gleichzeitig bedeutet dies auch, dass wir eine extrem mächtige Kraft in der Hand halten.
Moderator: Dieser Artikel hat 40 Seiten. Hast du Claude benutzt, um diesen Artikel zu schreiben?
Dario Amodei: Ich habe Claude benutzt, um meine Gedanken zu strukturieren und Recherchen zu machen, aber das eigentliche Schreiben habe ich selbst erledigt. Ich denke nicht, dass Claude bereits gut genug ist, um einen ganzen Artikel zu schreiben, aber es hat mir bei der Ausarbeitung meiner Ideen geholfen.
Moderator: Was war der konkrete Anlass, dass du dich entschieden hast, dies aufzuschreiben? An wen richtet sich dieser Artikel?
Dario Amodei: Am meisten hat mich die interne Veränderung bei uns berührt. Einige Ingenieure von Anthropic haben mir gesagt: „Ich schreibe praktisch keinen Code mehr, Claude macht das, ich überprüfe und korrigiere nur.“
Und was bedeutet es, bei Anthropic Code zu schreiben? Es bedeutet – die nächste Version von Claude zu entwickeln.
Wir befinden uns also in gewisser Weise in einer Schleife: Claude hilft bei der Entwicklung der nächsten Generation von Claude. Diese Schleife wird sehr schnell enger. Das ist aufregend, aber es macht mich auch darauf aufmerksam, dass sich die Dinge rasant entwickeln und wir vielleicht nicht mehr so viel Zeit haben.
Fünf KI-Risiken im Artikel: Kann die KI rebellieren?
Moderator: Du hast in deinem Artikel fünf Arten von Risiken aufgelistet, die dich am meisten bes