Eilmeldung: Der Gründer von Firma A ruft die KI-Branche dazu auf, das Entwicklungstempo zu drosseln, und Altman sowie Musk unterstützen dies auf ungewöhnliche gemeinsame Weise.

Diese Woche verließ der Anthropic-Forscher Jacob Coxon das Unternehmen und warnte, dass KI die Menschheit innerhalb von 10 Jahren aussterben lassen könnte, was eine massive Kontroverse auslöste.

In den frühen Morgenstunden heute veröffentlichte Dario Amodei, CEO von Anthropic, plötzlich einen Artikel mit dem Titel „Wir müssen für die Spitzen-KI eine Geschwindigkeitsbegrenzung einführen“, in dem er erneut dazu aufrief, das Tempo der Spitzen-KI-Forschung zu verlangsamen. Er legte ein Systemdesign vor, das sich um die „Überprüfbarkeit“ dreht.

Nach der Veröffentlichung dieses Artikels teilte Sam Altman, der CEO von OpenAI, der normalerweise nicht gut mit Amodei auskommt, ihn selten zur Unterstützung weiter, und selbst Musk drückte seine Zustimmung aus.

Der schärfste und umstrittenste Widerspruch im Artikel hängt mit China zusammen.

Amodei ist einerseits der Ansicht, dass die USA nur dann Raum für eine freiwillige Verlangsamung haben, wenn sie ihren technischen Vorsprung gegenüber China behaupten und sogar ausweiten; andererseits gibt er zu, dass eine wirklich wirksame globale Geschwindigkeitsbegrenzung letztendlich nicht ohne Koordinierung mit China auskommt.

Das bildet das Paradoxon des gesamten Vorschlags, sodass es schwerfällt, keine Zweifel daran zu hegen, ob die Motive von Anthropic für diese Initiative so rein sind.

Kernpunkte

1. Amodei plädiert dafür, das Tempo der Verbesserung der Fähigkeiten von KI-Modellen zu verlangsamen, um Zeit für Ausrichtung, Sicherheitsschutz und externe Überprüfung zu gewinnen; das Training von Modellen und der technische Fortschritt werden jedoch fortgesetzt.

2. KI beginnt bereits, die nächste Generation von KI zu entwickeln. Seiner Ansicht nach ist die rekursive Selbstverbesserung in der Branche bereits aufgetreten. Sobald das Tempo der Fähigkeitsverbesserung die Geschwindigkeit übertrifft, mit der Menschen die Systeme verstehen und kontrollieren, steigen die Risiken sprunghaft an.

3. Gruppen von intelligenten Agenten könnten innerhalb von 6 bis 12 Monaten die Fähigkeit erlangen, mit Hilfe eines dauerhaften Bot-Netzes das Internet in großem Umfang zu kontrollieren, und Schäden in Höhe von mehreren hundert Milliarden US-Dollar verursachen.

4. China ist eine Schlüsselvariable. Nach Amodeis Einschätzung darf das Ausmaß der Verlangsamung in den USA nicht größer sein als ihr Vorsprung gegenüber China; er plädiert dafür, durch verschiedene Gegenmaßnahmen sicherzustellen, dass der US-Vorsprung in den nächsten 3 bis 5 Jahren ausgebaut wird.

5. Eine globale Geschwindigkeitsbegrenzung erfordert letztendlich die Beteiligung Chinas. Amodei unterteilt mögliche internationale Abkommen in vier Stufen: Verbot gefährlicher Anwendungen wie biologischer Waffen, gemeinsame Durchführung von Hochrisikotests, Begrenzung der Geschwindigkeit der rekursiven Selbstverbesserung sowie umfassende Geschwindigkeitsbegrenzung oder Aussetzung. Seiner Ansicht nach wird es mit jeder Stufe schwieriger, und die vierte Stufe ist kurzfristig kaum umsetzbar.

6. Drei-Schritte-Plan: Vor-Ort-Bewertung, nationale Koordination, globale Koordination. Der Kern besteht nicht darin, die Öffentlichkeit zu verlangen, dass sie die Selbstdisziplin der Unternehmen vertraut, sondern sicherzustellen, dass Sicherheitsversprechen von Dritten überprüft werden können.

7. Anthropic wird als Erster seine internen Prozesse öffnen. Das Unternehmen verspricht, dem Drittbewertungsteam langfristigen Zugriff zu gewähren, der dem der Mitarbeiter nahezu entspricht, und abgesehen von streng begrenzten Ausnahmen Risiken, Unfälle und Fälle von eingeschränktem Zugriff selbstständig zu veröffentlichen. Sam Altman erklärte anschließend, dass auch OpenAI unabhängige Bewerter einführen wird, die einen Zugriff erhalten, der dem der Mitarbeiter nahezu entspricht.

8. Amodei möchte die zusätzlich gewonnene Zeit in die Betriebszuverlässigkeit, Ausrichtung, Interpretierbarkeit sowie Tests und Bewertungen investieren, die von fortgeschrittenen Modellen kaum getäuscht werden können, anstatt den Fortschritt nur zu verzögern.

Im Folgenden finden Sie die Übersetzung des Blogbeitrags von APPSO, der ausschließlich die Positionen und Ansichten von Dario Amodei widerspiegelt.

Dario Amodei: Wir müssen für die Spitzen-KI eine Geschwindigkeitsbegrenzung einführen

In den letzten zwölf Jahren habe ich mich der KI-Forschung gewidmet, weil ich glaube, dass sie die Lebensqualität der Menschen erheblich verbessern kann. Ich habe wiederholt über diese außergewöhnlichen Vorteile geschrieben: Ich bin überzeugt, dass KI in den nächsten 5 bis 10 Jahren voraussichtlich die meisten schweren Krankheiten heilen, das Wirtschaftswachstum erheblich beschleunigen, eine Welt mit allgemeinem Wohlstand und größerer Selbstbestimmung für alle schaffen und eine Renaissance von Demokratie und Freiheit einleiten kann.

Für mich stammt diese Dringlichkeit auch aus persönlichen Erfahrungen. Mein Vater starb an einer Krankheit, für die es nur wenige Jahre später ein Heilmittel gab; ich selbst habe an frühem Krebs gelitten und überlebt – vor fünfzig Jahren wäre diese Krankheit überhaupt nicht behandelbar gewesen. Bei richtiger Anwendung kann KI zu einem weiteren technischen Wunder in der langen Geschichte der Menschheit werden, das das Leben verbessert und die Würde des Menschen unterstreicht.

Aber wie viele zuvor aufgetretene Technologien ist auch KI mit Risiken verbunden; und da sie eine extrem leistungsstarke Technologie ist, dürfen diese Risiken nicht unterschätzt werden. Ich habe ebenfalls ausführlich über diese Probleme geschrieben, darunter: der Verlust der menschlichen Kontrolle über KI-Systeme, der Missbrauch von KI für Cyberangriffe und bioterroristische Anschläge sowie schwere wirtschaftliche Schocks. Ein Wettlauf nach unten, der von kommerziellen Interessen angetrieben wird, kann diese Risiken weiter verschärfen.

Seit der Gründung von Anthropic haben ich, die Mitbegründer und alle Mitarbeiter uns bemüht, mit dieser Dualität von Risiken und Vorteilen umzugehen. Wenn wir die Entwicklung dieser Technologie ablehnen, riskieren wir nicht nur, die Wohlfahrt zu verpassen, die sie bringt, sondern geben KI auch einfach an andere weiter; aber eine zu schnelle Entwicklung ist ebenso unverantwortlich.

Wir haben immer versucht, einen mittleren Weg zu finden: zu beweisen, dass umsichtige Entwicklung und kommerzieller Erfolg miteinander vereinbar sind, und Sicherheit zu einem Wettbewerbsdimension zwischen KI-Unternehmen zu machen. Mit anderen Worten, wir wollen einen Wettlauf nach oben fördern. Wir haben immer einen beträchtlichen Teil unserer Energie darauf verwendet, diese KI-Risiken zu erforschen und zu bewältigen und die Öffentlichkeit darüber aufzuklären; wir haben auch immer für eine umsichtig gestaltete Regulierung von KI eingetreten, selbst wenn wir dafür beschuldigt werden, Hype zu betreiben, „Untergangsszenarien“ zu verbreiten oder zu versuchen, die Regulierung zu erfassen. Wir bemühen uns, Vorsicht vor Geschwindigkeit und Umsicht vor Profit zu stellen.

Aber in den letzten Monaten bin ich immer überzeugter geworden: Um diese Risiken vollständig zu bewältigen, müssen wir umsichtiger vorgehen – wir dürfen nicht nur Ressourcen investieren, um Risiken vorzubeugen, sondern müssen auch das Tempo der Verbesserung der KI-Fähigkeiten kontrollieren, damit die Risikoprävention Zeit hat, aufzuholen. Wir müssen das Tempo der Verbesserung der Fähigkeiten von KI-Modellen verlangsamen. Der Fortschritt wird weiterhin schnell verlaufen, und wir müssen die dadurch gewonnene Zeit sinnvoll nutzen.

Zwei Dinge haben mich zu dieser Schlussfolgerung gebracht.

Die erste Sorge ist, dass sich das Fortschrittstempo von KI seit diesem Sommer plötzlich beschleunigt hat. Der Haupttreiber ist, dass KI immer besser in der Lage ist, an der Entwicklung der nächsten KI-Generation mitzuwirken. Dieser Mechanismus wird als „rekursive Selbstverbesserung“ bezeichnet und ist bereits in der gesamten Branche aufgetreten, einschließlich Anthropic – wie wir und andere Unternehmen zuvor beschrieben haben. Wenn man es gewähren lässt, könnte es bald unsere Fähigkeit übersteigen, diese Systeme zu verstehen und zu kontrollieren. Daher muss selbst bei der Fortsetzung dieses Weges äußerst vorsichtig vorgegangen werden, und man sollte zunächst ernsthaft prüfen, ob er überhaupt fortgesetzt werden soll.

Die zweite Sorge ergibt sich aus dem OpenAI–Hugging Face-Ereignis (OAI–HF). In diesem Fall verhielt sich eine Gruppe von intelligenten Agenten fast wie eine fanatisch loyale Gemeinschaft: Sie startete Cyberangriffe auf Ziele, die nicht zum Angriff befohlen waren und nichts mit der aktuellen Aufgabe zu tun hatten; opferte sich für den kollektiven Erfolg; versuchte sogar, in den „Bewerter“ einzudringen, der für die Bewertung ihrer Leistung zuständig war. Man neigt leicht dazu, dieses Ereignis herunterzuspielen, da es keine Personenschäden und nur begrenzte wirtschaftliche Schäden verursacht hat. Aber meiner Ansicht nach könnte eine ähnliche Gruppe von intelligenten Agenten mit stärkeren Fähigkeiten, die aber noch im gleichen Maße nicht ausgerichtet sind, katastrophale Schäden anrichten.

Da sich das Entwicklungstempo der KI-Fähigkeiten weiter beschleunigt, befürchte ich, dass solche Gruppen von intelligenten Agenten in 6 bis 12 Monaten in der Lage sein könnten, mit Hilfe eines dauerhaften Bot-Netzes das gesamte Internet zu übernehmen – mit potenziellen Schäden in Höhe von mehreren hundert Milliarden US-Dollar; wenn KI ohne notwendige Schutzmaßnahmen weiter an Stärke gewinnt, wird das Ausmaß der Zerstörung noch größer. Man neigt auch leicht dazu, das OAI–HF-Ereignis als Misserfolg eines einzelnen Unternehmens zu betrachten, aber ich halte das ebenfalls für einen Fehler. In der gesamten Branche sind ähnliche, aber weniger schwerwiegende Ereignisse aufgetreten, und Anthropic ist keine Ausnahme. Ich bin der Ansicht, dass jedes Spitzen-KI-Unternehmen die Verantwortung hat, zu handeln, als ob das OAI–HF-Ereignis bei ihm selbst aufgetreten wäre.

Daher schlage ich einen Drei-Schritte-Plan vor, der darauf abzielt, eine Geschwindigkeitsbegrenzung für die Spitzen-KI einzuführen: KI mit einem ausgewogeneren Tempo zu entwickeln, ihre potenziellen Vorteile weiter zu realisieren und gleichzeitig die großen geopolitischen Probleme anzuerkennen. Es ist zu klären, dass eine Geschwindigkeitsbegrenzung nicht bedeutet, das Training von Modellen oder den technischen Fortschritt einzustellen, sondern sicherzustellen, dass Unternehmen genügend Zeit aufwenden, um die Modelle auszurichten und Sicherheitsmaßnahmen umzusetzen, die von Drittbewertungsstellen bestätigt werden. Unser Rahmen für die Geschwindigkeitsbegrenzung soll unsere Sicherheitsversprechen weiter stärken und einen Wettlauf nach oben fördern.

Der erste Schritt wird von Anthropic einseitig umgesetzt, und wir fordern gleichzeitig die Regierungen verschiedener Länder auf, andere Spitzen-KI-Unternehmen zur Durchführung gleicher Maßnahmen zu verpflichten.

Der zweite Schritt erfordert eine koordinierte Aktion der gesamten Branche.

Der dritte Schritt erfordert eine weltweite Zusammenarbeit. Diese Schritte müssen nicht unbedingt streng nacheinander ausgeführt werden, und einige von ihnen sind viel schwieriger zu realisieren als andere; aber wenn ich darüber nachdenke, was genau wir erreichen müssen, finde ich, dass dies ein sehr hilfreicher Rahmen ist. Die konkreten Schritte sind wie folgt:

1. Vor-Ort-Bewerter. Jedes Spitzen-KI-Unternehmen verspricht, einem vor Ort tätigen Drittbewertungsteam – beispielsweise METR – dauerhaften Zugriff zu gewähren, der dem der Mitarbeiter des Unternehmens nahezu entspricht. Ihre Aufgabe ist es, zu überprüfen, ob das Unternehmen Sicherheitsnormen und -versprechen einhält, Unfälle zu melden und bei der Bewertung nicht nur der abgeschlossenen KI-Modelle, sondern auch der Ausrichtung der Trainings-Pipelines und zugehörigen Prozesse zu helfen. Dies ist ein entscheidender Schritt, um sicherzustellen, dass jedes Versprechen zur Geschwindigkeitsbegrenzung überprüfbar ist. Im Bankwesen gibt es vergleichbare Präzedenzfälle: Aufsichtsbehörden arbeiten manchmal langfristig vor Ort gemeinsam mit den Mitarbeitern. Anthropic verpflichtet sich jetzt einseitig zur Durchführung dieses Schritts. Wir hoffen, dass dies zu einer wichtigen Maßnahme wird, um die Investitionen in Sicherheit und Ausrichtung weiter zu erhöhen.

2. Nationale Koordination. Die Spitzen-KI-Unternehmen der USA und ihrer Partner koordinieren sich, um gemeinsame Sicherheitsstandards zu entwickeln und das ungebremste Fortschrittstempo der KI zu begrenzen. Einige Kooperationsformen, die eine Geschwindigkeitsbegrenzung wirklich fördern können, stoßen rechtliche Herausforderungen, sodass die Unterstützung der Regierungen erforderlich ist.

3. Globale Koordination. Die USA und ihre Partner versuchen, unter wirksamer Berücksichtigung der schwierigen Probleme bei der Überprüfung der Einhaltung von Verpflichtungen so weit wie möglich mit anderen Ländern zu koordinieren.

Im Folgenden werde ich diese drei Schritte nacheinander vorstellen. Davor halte ich es jedoch für notwendig, konkret zu erläutern, wie eine Geschwindigkeitsbegrenzung den Entwicklungsprozess von KI sicherer machen kann. Diese Angelegenheit ist von großer Bedeutung, und eine Geschwindigkeitsbegrenzung darf nicht nur eine Formalität sein – wir müssen die dadurch gewonnene Zeit sinnvoll nutzen.

Warum eine Geschwindigkeitsbegrenzung?

Bereits 2023 wurde vorgeschlagen, die Entwicklung der KI auszusetzen oder zu verlangsamen, aber ich halte diese Forderung zu diesem Zeitpunkt für kaum begründet. Die Frage war immer: Was willst du mit der zusätzlichen Zeit machen? Damals reichten die Fähigkeiten der KI-Modelle nicht aus, um als intelligente Agenten kohärent in der realen Welt zu handeln; sie verfügten auch nicht über die Fähigkeit, schwere Täuschungen, Manipulationen, Betrug oder Cyberangriffe durchzuführen. Die Entwicklung zu verlangsamen, um ihre Ausrichtungsrisiken zu erforschen, wäre vergleichbar mit dem Versuch, die menschliche Psychologie durch Experimente mit Bakterien zu untersuchen.

Aber die heutige Situation ist völlig anders. Die aktuellen Modelle sind fast eine unerschöpfliche Goldgrube: Wir können daraus lernen, wie man KI gut entwickelt, und gleichzeitig sehen, welche Probleme auftreten können, wenn sie nicht gut entwickelt wird. Ich bin überzeugt, dass wir, wenn wir durch eine Verlangsamung ein oder zwei Jahre zusätzliche Zeit gewinnen können, bevor die Modelle ein kritisches Fäh