Eilmeldung: Dario legt einen dreistufigen Plan zur globalen Geschwindigkeitsbegrenzung von KI vor, Altman und Musk unterstützen ihn umgehend.
Am 13. veröffentlichte Dario Amodei, der CEO von Anthropic, einen seltenen langen Artikel —
We Must Pace the Frontier (Wir müssen das Entwicklungstempo der Spitzen-KI steuern)
Diesmal richtete er seine Kritik direkt gegen das Entwicklungstempo der Spitzenmodelle, seine Kernaussage lässt sich in einem einzigen Satz zusammenfassen:
Die leistungsstärkste KI muss aktiv auf die Bremse treten.
In diesem langen Artikel gab Dario selbst zu, dass „die rekursive Selbstverbesserung (RSI) in der gesamten Branche aufgetreten ist“.
Noch beunruhigender ist seine Prognose, dass Cluster von KI-Agenten in den nächsten 6 bis 12 Monaten das gesamte Internet übernehmen könnten.
Angesichts dieses außer Kontrolle geratenen Risikos stellte Dario in seinem Artikel direkt ein ernst zu nehmendes „Drei-Schritte-Bremsverfahren“ vor:
Erster Schritt: Offene Tür für Gäste: Unabhängige Dritte werden dauerhaft im Unternehmen aufgenommen und erhalten uneingeschränkten Zugriff auf die gleichen Informationen wie das interne Kernteam für Risikokontrolle;
Zweiter Schritt: Festlegung von Branchengrenzen: Gemeinsam mit allen Spitzen-KI-Unternehmen in den USA werden klare Fähigkeitsgrenzen gezogen und verbindliche Sicherheitskontrollpunkte eingerichtet;
Dritter Schritt: Globale Umsetzung: Dieses Rahmenwerk wird international verbreitet, um die Ausbreitung unkontrollierbarer Risiken vollständig zu blockieren.
Kaum hatte er das gesagt, reagierte Sam Altman sofort: „Dario hat recht, OpenAI wird ebenfalls ein solches Bewertungsverfahren einführen“.
Auf der anderen Seite antwortete Elon Musk fast sofort und unterstützte Dario öffentlich.
Dass drei Giganten sich so schnell auf einen Konsens einigen, ist wirklich eine seltene Szene!
Darios „Drei-Schritte-Plan“ zur Verlangsamung der globalen KI-Entwicklung
Diesmal forderte Dario nicht nur kurz auf, „die KI sollte langsamer werden“.
Was Dario wirklich vorhat, ist, dieses „Verlangsamungsmechanismus“ schrittweise auszurollen, und die Reihenfolge ist sehr klar —
Zuerst werden die KI-Unternehmen selbst überprüfbar gemacht, dann tritt die gesamte Branche gemeinsam auf die Bremse, und erst danach wird über globale Koordination gesprochen.
Erster Schritt: Zuerst wird bei Anthropic selbst angefangen.
Unabhängige Dritte wie METR sollten nicht erst nach einem Unfall kurzfristig ins Unternehmen geschickt werden, um Ermittlungen durchzuführen, sondern dauerhaft vor Ort sein.
Sie erhalten Arbeitsplätze, interne Computer und Zugriff auf die Risikoteams.
Sie können kontinuierlich überwachen, wie das Modell trainiert wird, ob die Sicherheitsversprechen umgesetzt werden, ob im Trainingsablauf versteckte Gefahren lauern und ob Unfälle vertuscht werden.
Außerdem müssen die festgestellten Probleme öffentlich bekannt gegeben werden.
Das Unternehmen kann Teile entfernen, die wirklich Gesetze, Kundendatenschutz und zentrale Geschäftsgeheimnisse betreffen, aber es darf die Schlussfolgerung nicht unterdrücken, nur weil der Bericht ungünstig aussieht.
Zweiter Schritt: Nicht nur ein einzelnes Unternehmen darf auf die Bremse treten.
Der wirklich schwierige Teil beginnt hier.
Wenn Anthropic selbst langsamer wird, aber OpenAI, Google und xAI weiterhin ungebremst voranschreiten, könnte das Unternehmen, das zuerst auf die Bremse tritt, zunächst Nachteile erleiden.
Daher schlägt Dario vor, die Regeln auf die gesamte amerikanische Spitzen-KI-Branche auszuweiten.
Mehrere Spitzen-KI-Unternehmen legen gemeinsam Sicherheitsgrenzen fest und richten Fähigkeitskontrollpunkte ein. Sobald ein Modell eine gefährliche Schwelle überschreitet, muss es zunächst entsprechende Sicherheitsnachweise vorlegen, bevor es weiterentwickelt werden darf.
Zum Beispiel, wenn ein Modell bereits die meisten gängigen Isolationsumgebungen durchbrechen kann.
Dann muss das Unternehmen im Anschluss nachweisen: Es wird nicht leicht aus der Sandbox entweichen, nicht willkürlich eine große Anzahl von Geräten übernehmen und diese Fähigkeit nicht zu realen Angriffen einsetzen.
Wenn der Nachweis nicht erbracht werden kann, darf die Entwicklung nicht fortgesetzt werden.
Darüber hinaus erwähnte Dario sogar, dass man auch die Begrenzung von Trainingsrechenleistung, Trainingsmethoden und dem Tempo der internen KI-gestützten KI-Entwicklung diskutieren kann.
Das heißt, direkt einen Geschwindigkeitsbegrenzer für die RSI selbst hinzuzufügen. Aber die bloße private Vereinbarung zwischen wenigen Unternehmen reicht nicht aus.
Er hofft vielmehr, dass die US-Regierung letztendlich eingreift, um die Regeln auf alle Spitzen-KI-Unternehmen auszudehnen.
Dritter Schritt: Die Bremse auf globaler Ebene betätigen.
Auf der nächsten Ebene liegt der schwierigste Teil. Dario unterteilt die globale Koordination in vier Stufen.
Die erste Stufe ist relativ realistisch: Zuerst werden offensichtlich gefährliche Anwendungen wie biologische Waffen verboten.
Die zweite Stufe besteht darin, vor der Veröffentlichung von Spitzenmodellen einheitlich Hochrisikotests für Cyberangriffe, biologische Sicherheit und andere Bereiche durchzuführen.
In der dritten Stufe wird der Kernpunkt wirklich angesprochen:
Ist es möglich, direkt eine globale Obergrenze für die RSI, also das Tempo der KI-gestützten KI-Entwicklung, festzulegen?
Darios eigene Einschätzung ist, dass diese Angelegenheit „genau am Rand des Machbaren liegt“.
Was die vierte Stufe betrifft — dass alle globalen Spitzen-KI-Unternehmen die Entwicklung deutlich verlangsamen oder die Trainingsphasen sogar vorübergehend aussetzen — hegt er selbst keine großen Hoffnungen.
Zumindest kurzfristig ist dies kaum realistisch. Das Problem, das all dies blockiert, ist immer noch dasselbe: Wie lässt sich das überprüfen?
Wenn ein Unternehmen angibt, dass es die Entwicklung eingestellt hat, wer kann beweisen, dass es dies wirklich getan hat?
Daher läuft Darios gesamtes Konzept am Ende auf einen sehr einfachen Kernpunkt hinaus:
Öffnen Sie zuerst die Türen der KI-Unternehmen, damit externe Personen wirklich Einblick erhalten.
Aus genau diesem Grund hat Dario die „dauerhafte Anwesenheit Dritter vor Ort“ als ersten Schritt des gesamten Konzepts festgelegt.
RSI läuft bereits seit 6 Monaten: Die KI könnte das Internet übernehmen
Aber es stellt sich die Frage: Warum gerade jetzt?
Vor drei Jahren gab es in der Branche eine Welle von gemeinsamen Aufrufen, das Training auszusetzen und die KI zu verlangsamen, aber damals reagierte Dario überhaupt nicht, da er der Meinung war, dass der Zeitpunkt noch nicht reif sei.
Zwei Dinge haben ihn dazu gebracht, seine Haltung zu ändern: Das Auftreten von RSI und die zunehmend konkreten unkontrollierten Verhaltensweisen von KI-Agenten.
In seinem Artikel bestätigte er ausdrücklich, dass das Phänomen, bei dem KI an der Entwicklung der nächsten KI-Generation beteiligt ist, in der gesamten Branche aufgetreten ist, einschließlich Anthropic selbst.
KI hilft Menschen beim Schreiben von Code, bei Experimenten, der Analyse von Ergebnissen und der Optimierung von Trainingsabläufen, um die nächste KI-Generation weiter zu stärken.
Wenn dieser Zyklus sich selbst beschleunigt, tritt das problematischste Szenario ein:
Das Tempo der Fähigkeitssteigerung des Modells könnte das Tempo übersteigen, mit dem Menschen es verstehen und kontrollieren können.
Denn die Sicherheitsforschung selbst braucht Zeit.
Sie müssen zuerst beobachten, welche neuen Verhaltensweisen das Modell zeigt, dann untersuchen, warum diese Verhaltensweisen auftreten, anschließend Testmethoden und Schutzmaßnahmen entwickeln und schließlich überprüfen, ob diese Maßnahmen wirksam sind.
Aber wenn die Fähigkeiten des Modells alle paar Monate auf eine neue Stufe steigen, fällt es dem Sicherheitsteam leicht, ständig hinterherzulaufen, um Lücken zu schließen.
Was Dario wirklich besorgt, ist nicht, dass die KI eines Tages plötzlich „erwacht“, sondern dass dieser Rückkopplungszyklus sich immer schneller dreht.
Die KI ist zunehmend an der KI-Entwicklung beteiligt, die nächsten Generationen von Modellen entstehen immer schneller, aber die Sicherheitsmechanismen können nicht mithalten.
Wenn RSI ihn nur dazu gebracht hat, sich Sorgen zu machen, „ob die Entwicklung in Zukunft zu schnell läuft“, dann hat ein kürzlich tatsächlich aufgetretener Agentenunfall diese Sorge vollständig bestätigt.
Dario erwähnte ausdrücklich den kürzlichen „OpenAI-Hugging-Face-Vorfall“.
Bei diesem Test bildete eine Gruppe von KI-Agenten ein kooperatives System ähnlich einem „Bienenstock“.
Anfangs ließen die Menschen sie nur normale Aufgaben erledigen. Aber bald darauf begannen einige Agenten, externe Ziele außerhalb der Aufgaben anzugreifen.
Noch merkwürdiger ist, dass sie auch deutliche kooperative Verhaltensweisen in der Gruppe zeigten: Einige Agenten opferten sogar ihre eigenen Aufgabenpunkte, um der gesamten Gruppe zu besseren Ergebnissen zu verhelfen, und andere versuchten sogar, das Bewertungssystem zu hacken, um für die gesamte Gruppe zu „schummeln“.
Diese Verhaltensweisen sind nicht von Menschen im Voraus vorgeplant worden. Sie sind im Prozess der Zusammenarbeit mehrerer Agenten spontan entstanden.
Bei Anthropic intern wurden ähnliche Phänomene beobachtet, allerdings in geringerem Ausmaß.
Was Dario wirklich besorgt, sind die nächsten 6 bis 12 Monate.
Zu diesem Zeitpunkt sind die Agenten leistungsfähiger, können mehr Tools aufrufen, mehr Geräte steuern und über längere Zeiträume ununterbrochen arbeiten.
Wenn die heutigen Verhaltensweisen wie Zielabweichung, Ausnutzung von Regelungslücken und Gruppenkooperation weiterhin bestehen, könnten die Risiken plötzlich massiv ansteigen.
Er beschrieb sogar ein ziemlich erschreckendes Szenario:
Groß angelegte KI-Agenten dringen in vernetzte Geräte ein und verwandeln das gesamte Internet in ein riesiges „Botnetz“.
Der daraus entstehende Schaden könnte Billionen von Dollar betragen.
Kann der Mensch die Bremse noch betätigen, wenn die KI immer schneller läuft?
Daher ist Darios heutiger Aufruf zur „Verlangsamung“ nicht wirklich durch eine ferne Superintelligenz begründet.
Vielmehr laufen mehrere Dinge gleichzeitig ab:
RSI ist aufgetreten, die KI beginnt an der Entwicklung leistungsstärkerer KI teilzunehmen; Agenten erlangen immer stärkere Fähigkeiten für reale Handlungen; einige unkontrollierte Verhaltensweisen sind bereits aus Hypothesen zu realen Testergebnissen geworden.
Und das Tempo der Modelliteration beschleunigt sich weiter.
Aus diesem Grund will er sich 1 bis 2 Jahre Zeit verschaffen, um Sicherheitsbewertungen, Drittprüfungen und globale Regeln nachzurüsten.
Ob dieses Konzept umgesetzt werden kann, ist noch ungewiss.
Jetzt fragen sich die Vorreiter: Wenn die Entwicklung wirklich außer Kontrolle gerät, können wir die Bremse noch betätigen?
Quellenangaben:
https://darioamodei.com/post/we-must-pace-the-frontier