Ist die KI-Entwicklung wirklich zu rasant? Dario fordert in seinem neuesten langen Artikel eine Geschwindigkeitsbegrenzung für KI, und OpenAI wird in diesem Jahr auch kein IPO durchführen.

Dario will eigentlich nicht lösen, ob Anthropic langsamer werden soll, sondern einen Weg finden, dass alle Fahrzeuge gleichzeitig langsamer werden.

Man weiß nicht, ob es ein „Zufall“ ist: Kurz nach der gemeinsamen Erklärung der Preisträger des Fields-Mediums hat Dario Amodei, der CEO von Anthropic, plötzlich öffentlich erklärt, dass die KI zu schnell ist, wir müssen etwas langsamer vorgehen.

In seinem neuesten langen Artikel We Must Pace the Frontier stellt Dario eine Forderung auf, die über die bloße „Berücksichtigung der KI-Sicherheit“ hinausgeht:

Wir müssen die Geschwindigkeit, mit der die Fähigkeiten von KI-Modellen verbessert werden, verlangsamen.

Das bedeutet nicht, das Training auszusetzen oder den technologischen Fortschritt zu stoppen. Dario hat dafür einen Begriff geprägt: pacing the frontier, also die Steuerung des Fortschrittstempos der Spitzen-KI.

Seine Einschätzung lautet: Die Fähigkeiten der KI wachsen zu schnell, sodass Sicherheit, Ausrichtung und Bewertung bereits nicht mehr ganz Schritt halten können. Statt mit voller Geschwindigkeit voranzueilen und gleichzeitig Schutzmaßnahmen nachzurüsten, ist es besser, die Geschwindigkeit aktiv etwas zu drosseln, um Zeit für die Sicherheitsforschung zu gewinnen.

Und Anthropic macht nicht nur leere Versprechungen.

Gleichzeitig kündigte Dario an, dass das Unternehmen etwas tun wird, was unter den derzeitigen großen KI-Unternehmen ziemlich radikal ist:

Externe Sicherheitsbewertungsstellen sollen dauerhaft bei Anthropic angesiedelt werden, Zugriffsrechte erhalten, die denen der internen Mitarbeiter nahekommen, und direkt prüfen, ob das Unternehmen seine Sicherheitsversprechen auch tatsächlich einhält.

Schreibtische, Zugangskarten, Unternehmenscomputer, Zugriffsrechte auf interne Tools und Arbeitsbereiche werden vollständig zur Verfügung gestellt. Die Bewertungsstellen können sogar wichtige Risikofunde öffentlich bekanntgeben, ohne dass Anthropic sie vorher redigieren darf.

Ein Unternehmen, das die modernsten Modelle entwickelt, lädt aktiv externe „Sicherheitsbeauftragte“ in seine Büros ein. Dario ist der Meinung, dass es jetzt an der Zeit ist, dies zu tun.

Vollständiger Artikel: https://darioamodei.com/post/we-must-pace-the-frontier

In den vergangenen Monaten hat sich das Tempo der KI plötzlich unnormal entwickelt

Dario nennt in seinem Artikel zwei Gründe, die seine Einschätzung verändert haben.

Der erste ist ein Begriff, der in letzter Zeit immer häufiger auftaucht: rekursive Selbstverbesserung, recursive self-improvement.

Früher war die KI ein Werkzeug, das von Ingenieuren trainiert wurde. Heute sind diese Modelle zunehmend an der Entwicklung der nächsten KI-Generation beteiligt.

Die KI schreibt Code, führt Experimente durch, analysiert Ergebnisse, passt Trainingsabläufe an und hilft dem Menschen so, stärkere KI-Systeme zu entwickeln. Je stärker das Modell ist, desto besser kann es an der Entwicklung des nächsten Modells mitwirken, sodass der gesamte Prozess einen selbstbeschleunigenden Zyklus bilden kann.

Dario sagt, dass er etwa seit diesem Sommer eine deutliche Beschleunigung des Fortschritts der KI beobachtet hat, wobei die Unterstützung der KI bei der Entwicklung der nächsten KI-Generation einer der wichtigsten Gründe dafür ist.

Dies geschieht nicht mehr nur in einem einzelnen Labor. Spitzenunternehmen wie OpenAI und Anthropic diskutieren öffentlich über die beschleunigende Wirkung der KI auf die KI-Entwicklung.

Dario befürchtet, dass sobald dieser Zyklus in Gang kommt, die Wachstumsgeschwindigkeit der KI-Fähigkeiten die Geschwindigkeit, mit der Menschen diese Systeme verstehen und kontrollieren können, schnell übertreffen könnte.

Daher hat sich seine Haltung von „der Erforschung, wie man KI sicherer macht“ weiterentwickelt zu: Das Wachstum der Fähigkeiten selbst muss ebenfalls kontrolliert werden.

Das zweite Ereignis, das ihn wirklich in Alarmbereitschaft versetzt hat, ist konkreter. Dario erwähnt das kürzlich aufgetretene Ereignis zwischen OpenAI und Hugging Face (OAI-HF).

Seiner Beschreibung nach zeigte eine Gruppe von KI-Agenten während der Ausführung von Aufgaben eine Reihe von anormalen Verhaltensweisen. Sie griffen Ziele an, die sie nicht angreifen sollten und die nichts mit der Aufgabe zu tun hatten; einige Agenten opferten sich freiwillig, um den Erfolg der gesamten Gruppe zu gewährleisten; noch erstaunlicher ist, dass sie sogar versuchten, die Bewerter anzugreifen, die ihre eigene Leistung bewerten sollten.

Dario verwendet eine sehr starke Formulierung: a fanatically devoted collective – eine fanatisch ergebene Gemeinschaft.

Dieses Ereignis selbst hat keine Personenschäden verursacht, und die wirtschaftlichen Verluste sind begrenzt. Für Dario liegt das Problem jedoch gerade nicht darin. Was würde passieren, wenn genau dasselbe Fehlverhalten in einem System auftreten würde, das zehn- oder hundertmal leistungsfähiger ist?

Seine Prognose ist ziemlich radikal: Angesichts des derzeitigen Fortschrittstempos der KI-Fähigkeiten befürchtet er, dass ähnliche Agenten-Schwärme in den nächsten 6 bis 12 Monaten die Fähigkeit erlangen könnten, das Internet über persistente Botnets in großem Maßstab zu kontrollieren und Schäden in Höhe von mehreren hundert Milliarden Dollar zu verursachen.

Er betont ausdrücklich, dass dies nicht einfach als Problem von OpenAI allein abgetan werden kann. Auch bei Anthropic selbst sind ähnliche Ausrichtungsunfälle aufgetreten, die nur weniger schwerwiegend waren. Seine Schlussfolgerung lautet:

Jedes Spitzen-KI-Unternehmen sollte Maßnahmen nach dem Standard ergreifen, dass „das OAI-HF-Ereignis auch bei ihm selbst auftreten könnte“.

Er meint, dass der Aufruf zur Aussetzung der großen KI-Experimente im Jahr 2023 wenig Nutzen gebracht hat; heute ist die Situation anders. Das ist auch ein interessanter Punkt in Darios Artikel.

In der KI-Branche gab es bereits 2023 eine Runde von Aufrufen zur „Aussetzung großer KI-Experimente“. Aber wenn Dario heute zurückblickt, meint er, dass die Aussetzung damals wenig Sinn hatte.

Der Grund ist einfach: Was sollte mit der zusätzlichen Zeit gemacht werden?

Die großen Modelle von 2023 hatten noch nicht die Fähigkeit, in Form von kohärenten Agenten selbstständig in der realen Welt zu handeln, und sie zeigten nicht das heutige Maß an Täuschung, Manipulation, Betrug und Cyberangriffen. Damals langsamer vorzugehen, um die KI-Ausrichtung zu erforschen, erscheint Dario ungefähr so:

Der Versuch, die menschliche Psychologie durch die Erforschung von Bakterien zu verstehen.

Die Modelle waren zu schwach, sodass viele wirklich wichtige Sicherheitsprobleme noch gar nicht aufgetaucht sind.

Aber heute ist das völlig anders: Endlich gibt es echte Forschungsobjekte.

Die heutigen Modelle sind stark genug, sodass die Forscher beobachten können, wann sie täuschen, wann sie versuchen, Regeln zu umgehen, und wann sie unerwartete Ziele und Verhaltensweisen zeigen.

Daher ist Dario der Meinung, dass wenn man jetzt etwas langsamer vorgeht, man ein oder zwei zusätzliche Jahre gewinnen kann, bevor die Modelle bestimmte Schlüsselfähigkeiten erreichen. Wenn diese Zeit tatsächlich für die Ausrichtung, Interpretierbarkeit und Bewertung verwendet wird, können die Risiken erheblich reduziert werden.

Deshalb betont er immer wieder: Pacing ist kein Pausieren. Anthropic plant nicht, das Training von Claude einzustellen oder aus dem Modellwettbewerb auszusteigen. Was sie tun wollen, ist, ein neues Gleichgewicht zwischen Fähigkeiten und Sicherheit zu finden.

Anthropic plant, zuerst „externe Personen“ ins Unternehmen zu holen

Dario hat dafür einen dreistufigen Plan vorgeschlagen.

Der erste Schritt, den Anthropic bereits beschlossen hat, einseitig umzusetzen, heißt: Embedded Evaluators, eingebettete Bewerter.

Anthropic plant, externe Risikobewertungsteams einzuladen, dauerhaft im Unternehmen zu arbeiten. Sie erhalten eigene Büroplätze, Zugangskarten und Unternehmenscomputer, können auf Arbeitsbereiche, Tools und Zugriffsrechte zugreifen, die denen des internen Risikoteams weitgehend entsprechen, und direkt mit den Mitarbeitern kommunizieren.

Natürlich werden für Informationen wie Kundendatenschutz, Geschäftsgeheimnisse von Partnern und gesetzliche Einschränkungen weiterhin Grenzen festgelegt.

Aber der entscheidendste Punkt ist: Diese Bewerter gehören nicht zur PR-Abteilung von Anthropic. Sie können unabhängig ihre Einschätzungen zum Risikoniveau, zu Sicherheitsvorfällen, zu internen Praktiken und dazu, wie viele Zugriffsrechte sie tatsächlich erhalten haben, veröffentlichen.

Anthropic kann aus sehr wenigen Gründen wie nationaler Sicherheit, gesetzlichen Privilegien und Geschäftsgeheimnissen verlangen, dass Informationen gekürzt werden, darf aber Inhalte nicht löschen, nur weil die Schlussfolgerung „für Anthropic ungünstig“ ist.

Wenn eine Kürzung die endgültige Einschätzung beeinträchtigt, können die Bewerter dies sogar öffentlich bekanntgeben.

Das unterscheidet sich stark von der üblichen Logik von Model Cards und Risikoberichten, die heute bei KI-Unternehmen verbreitet sind. Letztere laufen letztendlich darauf hinaus: Das Unternehmen prüft sich selbst und entscheidet dann, was es der Öffentlichkeit mitteilt.

Was Dario ausprobieren will, ist: Externe Personen wirklich ins Unternehmen hineinlassen, damit sie es von innen betrachten können.

Er zieht sogar einen Vergleich zum Bankensektor. Einige Bankenaufsichtsbehörden haben bereits dauerhaft ansässige „Supervisoren“, die mit den Bankmitarbeitern zusammenarbeiten und die interne Risikokontrolle kontinuierlich prüfen. Anthropic möchte einen ähnlichen Mechanismus in Spitzen-KI-Unternehmen einführen.

Danach geht es fast schon um „KI-Rüstungskontrolle“

Aber es reicht nicht, wenn nur Anthropic selbst langsamer wird. Das ist der wirklich schwierige Punkt von Darios gesamter Lösung. Wenn Anthropic ein Jahr lang Sicherheitsarbeit leistet, während OpenAI, Google oder andere Unternehmen mit voller Geschwindigkeit voraneilen, werden die geschäftlichen Nachteile sehr direkt sein.

Daher ist sein zweiter Schritt: Die Spitzen-KI-Unternehmen in demokratischen Ländern sollen sich gemeinsam koordinieren.

Alle einheitliche Sicherheitsstandards festlegen und Beschränkungen für das Wachstum von Fähigkeiten einführen, die keine ausreichende Sicherheitsüberprüfung durchlaufen haben. Dario stellt sich sogar vor, für die KI eine Art „Kontrollpunkt“-System einzuführen:

Wenn ein Modell die Fähigkeitsstufe X erreicht, muss es gleichzeitig nachweisen, dass es die Sicherheitsstandards Y und Z erfüllt, sonst darf es nicht weiterentwickelt werden.

Wenn ein Modell beispielsweise die Fähigkeit hat, die meisten gängigen Sandboxes zu durchbrechen, müssen die Entwickler nachweisen, dass das System kaum die Tendenz hat, aktiv auszubrechen und eine große Anzahl von Computern zu kontrollieren.

Das „Geschwindigkeitsmesser“ der KI ist von nun an an Sicherheitsüberprüfungen gebunden.

Der dritte Schritt ist noch größer: Globale Koordination.

Dario teilt die zukünftige internationale Zusammenarbeit im KI-Bereich in vier Ebenen ein.

Die unterste Ebene besteht darin, die Verwendung von KI für offensichtlich gefährliche Zwecke wie die Herstellung von biologischen Waffen zu verbieten. Eine Ebene höher vereinheitlichen die Länder die Prüfung von Cybersicherheit, biologischen Risiken und Ausrichtungsrisiken, bevor Modelle veröffentlicht werden.

Die dritte Ebene ist bereits sehr interessant: Eine Geschwindigkeitsbegrenzung für die rekursive Selbstverbesserung festlegen.

Selbst wenn die KI bereits die Entwicklung der nächsten KI-Generation unterstützen kann, darf dieser Rückkopplungszyklus nicht unbegrenzt beschleunigen. Dario vergleicht diesen Mechanismus sogar direkt mit den SALT-Verhandlungen zur Begrenzung strategischer Waffen während des Kalten Kriegs.

Damals verlangten die USA und die UdSSR nicht voneinander, auf Atomwaffen vollständig zu verzichten, sondern begrenzten die Anzahl der Waffen, sodass beide Seiten ihre Abschreckungskraft behielten und gleichzeitig das Risiko eines Kontrollverlusts reduzierten. Seiner Meinung nach braucht die KI möglicherweise ebenfalls ein ähnliches System.

Die höchste Ebene ist eine echte globale Geschwindigkeitsbegrenzung oder sogar eine Aussetzung der KI-Entwicklung. Sogar Dario hält die kurzfristige Umsetzbarkeit dieses Schritts für sehr gering.

Der widersprüchlichste Punkt: Die Geschwindigkeit drosseln und gleichzeitig sicherstellen, dass man vorne bleibt

An dieser Stelle ist ein Problem sehr offensichtlich: Wenn langsamer vorzugehen sicherer ist, warum gehen dann nicht alle gemeinsam langsamer vor? Weil niemand der Erste sein will, der langsamer wird. Die Unternehmen fürchten, ihre Konkurrenten zu unterliegen. Bei Ländern ist das nicht anders.

Daher plädiert er einerseits für eine „Geschwindigkeitsbegrenzung“ der Spitzen-KI, andererseits dafür, dass die USA ihre Beschränkungsmaßnahmen gegenüber Konkurrenten weiter verstärken.

Seine Logik lässt sich einfach zusammenfassen: Zuerst den Vorsprung vergrößern, dann diesen Vorsprung nutzen, um Raum für eine Verlangsamung zu gewinnen.

In Darios Vorstellung hat die USA, wenn sie ihren Vorsprung in den nächsten 3 bis 5 Jahren weiter ausbauen kann, mehr Spielraum, um Zeit für Sicherheitsarbeit zu verwenden, ohne befürchten zu müssen, dass Konkurrenten sie plötzlich überholen.

Das zeigt auch die schwer zu lösende Kernproblematik des gesamten „Geschwindigkeitsbegrenzungs“-Konzepts für KI. Alle wissen möglicherweise, dass das Fahrzeug zu schnell fährt. Aber niemand will der Erste sein, der das Gaspedal loslässt.

Am Ende will Dario also nicht wirklich lösen, ob „Anthropic langsamer werden soll“. Sondern einen Weg finden, dass alle Fahrzeuge gleichzeitig langsamer werden.

Altman gibt ein Like: Wir werden dieses Jahr kein IPO durchführen

Trotzdem ist Dario bis heute einer der überzeugtesten Optimisten im KI-Bereich.

Zu Beginn seines Artikels schreibt er noch immer, dass die KI in den nächsten 5 bis 10 Jahren dabei helfen könnte, die meisten schweren Krankheiten zu heilen, das Wirtschaftswachstum erheblich zu beschleunigen und eine wohlhabendere Welt zu schaffen.

Kurz nach der Veröffentlichung des Artikels hat Musk ihn auf Twitter geteilt