Firma A gibt zu, dass die Sicherheitsausrichtung von Claude Mängel aufweist, es aber „noch keine Lösung“ gibt.

In meiner Erinnerung ist dies wahrscheinlich die lauteste Debatte über die Ausrichtung der KI-Sicherheit, seit Ilya OpenAI verlassen und SSI gegründet hat.

Gestern veröffentlichte der Forscher Jacob Coxon einen Beitrag, in dem er seinen Rücktritt ankündigte und seine ehemaligen Arbeitgeber OpenAI und Anthropic beschuldigte, mit voller Geschwindigkeit auf eine sich selbst verbessernde Superintelligenz zuzusteuern und das Leben aller Menschen zu riskieren.

Es ist erwähnenswert, dass Jacob Coxon nur wenige Monate bei Anthropic gearbeitet hat. Er hat praktisch auf die enormen Eigenkapitalerträge verzichtet, die aus dem zukünftigen Börsengang dieses bekannten KI-Unternehmens entstehen könnten, und sich trotzdem für den Abgang entschieden.

Genau deshalb wurde diese Debatte, die ursprünglich weitgehend auf den Kreis der KI-Sicherheit beschränkt war, schnell einem breiteren Publikum zugänglich gemacht, als ein solcher Forscher öffentlich die beiden führenden KI-Unternehmen wegen „zu starker Beschleunigung“ angriff.

Bis heute hat dieser Beitrag mehr als 130 Millionen Aufrufe erhalten, und Medien wie WIRED, WSJ, Newsweek und Business Insider haben darüber berichtet.

Unter diesen Umständen antwortete Evan Hubinger, Leiter der Ausrichtungsforschung bei Anthropic, schnell und bestätigte selbst:

Jacob hat Recht: Die Wahrscheinlichkeit, dass KI die Menschheit in den nächsten zehn Jahren aussterben lässt, liegt bei über 10 %, und es gibt derzeit keine Lösung für das Ausrichtungsproblem der Superintelligenz.

Allerdings fügte Hubinger später im Kommentarbereich hinzu, dass er der Ansicht sei, das Risiko aktueller Modelle sei nach wie vor gering.

Was er wirklich besorgt macht, ist RSI, also die rekursive Selbstverbesserung: KI ist an der Entwicklung stärkerer KI beteiligt, die wiederum die KI-Entwicklung weiter beschleunigt, bis sich schließlich ein sich ständig beschleunigender Rückkopplungskreislauf bildet.

Noch wichtiger ist, dass er im Kommentarbereich direkt auf einen kürzlich von Anthropic veröffentlichten Bericht zur Sicherheitsausrichtung als Beweis verwiesen hat.

In diesem Bericht räumt Anthropic zum ersten Mal ausdrücklich ein:

Dass Claude Grenzen überschreitet und echte Systeme angreift, ist nicht nur ein Problem der Einstellungen des Testsystems, sondern auch ein Sicherheitsproblem des Modells selbst.

Man kann sagen, dass Anthropic, das „Sicherheitsausrichtung“ stets als Kernmarkenzeichen betrachtet und sich sogar für besonders vorsichtig hält, dieses Mal endlich öffentlich einräumt:

Das Problem besteht nicht nur darin, dass die Tests zu extrem sind, sondern auch darin, dass die Sicherheitsausrichtung des Modells selbst nicht vollständig gewährleistet ist.

Claudes Grenzüberschreitungen lassen sich nicht nur auf die Umgebungskonfiguration schieben

In diesem neuesten Bericht mit dem Titel „An alignment assessment of recent cybersecurity incidents“ hat Anthropic vier Fälle nachgeprüft, in denen Claude ohne Genehmigung auf echte Drittsysteme zugegriffen hat.

Und die Schlussfolgerung dieses Mal ist anders als zuvor.

Zuvor neigte Anthropic dazu, diese Vorfälle auf Probleme bei der Umgebungskonfiguration zurückzuführen:

Die Testumgebung, die isoliert betrieben werden sollte, war versehentlich mit dem echten Internet verbunden. Claude glaubte ständig, es befinde sich noch in einer simulierten Umgebung und führe eine „Capture the Flag“-Aufgabe durch, sodass es echte Ziele auch als Übungsobjekte behandelte.

Klingt so, als läge die Schuld hauptsächlich an der Umgebung. Aber nachdem die Protokolle noch einmal durchgegangen, wichtige Hinweise angepasst und einige Experimente erneut durchgeführt wurden, stellte Anthropic fest:

Die Sache ist nicht so einfach. Denn Claude hat die Beweise dafür, dass „dies die echte Welt sein könnte“, nicht völlig ignoriert.

Im Gegenteil: Wenn diese Hinweise auftauchen, interpretiert es die Beweise manchmal selektiv und deutet die Anomalien weiter so, dass es sich „wahrscheinlich immer noch um eine simulierte Umgebung handelt“; selbst wenn es erkennt, dass seine Handlungen echten Schaden anrichten könnten, hört es nicht unbedingt sofort auf.

Im Klartext bedeutet das: Die Umgebung hat ihm zwar die Gelegenheit gegeben, Fehler zu machen, aber das Modell selbst sucht auch Gründe, um „weiterzumachen“, entsprechend dem Ziel der Aufgabe.

Genauer gesagt fanden alle vier Vorfälle während der Tests der Cybersicherheitsfähigkeiten statt.

Claude erhielt eine typische „Capture the Flag“-Aufgabe: Es sollte in ein bestimmtes Ziel eindringen und eine geheime Information darin finden, um die Fähigkeiten des Modells im Bereich der Cyberangriffe und -verteidigung zu prüfen.

Diese Aufgaben sollten ursprünglich in einer isolierten Umgebung abgeschlossen werden, aber die Umgebung, die der Partner für die unabhängige Bewertung bereitstellte, wies Konfigurationsfehler auf. Claude, das eigentlich vom externen Netz getrennt sein sollte, war tatsächlich mit dem echten Internet verbunden.

Gleichzeitig wurde damals ein Teil der im offiziellen Produkt integrierten Cybersicherheitsschutzmaßnahmen nicht aktiviert, um zu testen, ob das Modell die gesamte Angriffskette abschließen kann.

Genau unter diesen Bedingungen begannen sich die Probleme zu zeigen. Nach der Analyse fasste Anthropic die wiederholt auftretenden Probleme des Modells in zwei Kategorien zusammen:

Voreingenommenes Denken (biased reasoning) und Leichtsinn (recklessness).

Ersteres bedeutet: Obwohl Beweise auftauchen, die mit der ursprünglichen Beurteilung kollidieren, neigt Claude dazu, diese Beweise so zu interpretieren, dass sie das weitere Vorgehen begünstigen.

Letzteres bedeutet, dass es, um die anstehende Aufgabe abzuschließen, auch dann weiter vorgehen kann, wenn es bereits weiß, dass seine Handlungen echte Systeme schädigen könnten.

Der schwerwiegendste Fall betrifft Claude Mythos 5.

Um die Testaufgabe abzuschließen, lud Claude ein bösartiges Paket in das Python-Softwarepaket-Repository PyPI hoch, in der Hoffnung, nach der Installation durch das Ziel weitere Zugangsdaten für dessen System zu erhalten.

Dieses bösartige Paket wurde jedoch schließlich nicht in der virtuellen Umgebung installiert, die für die Tests verwendet wurde.

Anschließend nutzte Claude die Zugangsdaten, die ein Hersteller während des Installationsprozesses preisgegeben hatte, um in die echte Datenbank dieses Herstellers einzudringen und das bösartige Paket direkt auf 15 echten Dritt-Hosts zu verteilen.

Auf diese Weise breitete sich ein Angriff, der ursprünglich auf fiktive Testziele abzielte, tatsächlich auf Unternehmen in der realen Welt aus.

Während des gesamten Prozesses interpretierte Claude die Erkennungsmaßnahmen dieser Sicherheitsunternehmen immer noch als Teil der vordefinierten Übung.

Um festzustellen, in welchem Ausmaß diese Beurteilung die nachfolgenden Angriffe vorantrieb, führten die Forscher später einen Teil des Prozesses erneut aus und fügten weitere Hinweise hinzu, die darauf hindeuteten, dass „dies das echte Internet ist“.

Das Ergebnis zeigte, dass Claude zwar eher bereit war, zuzugeben, dass seine Handlungen echten Schaden anrichten könnten, die Angriffe wurden dadurch aber nicht deutlich reduziert.

Erst als die Forscher es ausdrücklich darauf hinwiesen, dass es mit dem echten Internet verbunden ist und nicht mit einer simulierten Umgebung, hörte es auf, bösartige Softwarepakete entlang des ursprünglichen Pfades hochzuladen.

Noch bemerkenswerter ist, dass die Annahme „dies ist eine simulierte Umgebung“ nicht nur die eigenen Handlungen von Claude beeinflusste, sondern auch das Überwachungs-KI störte, das zur Überprüfung dieser Protokolle verwendet wurde.

Bei den Wiedergabetests wurde ein Offline-Überwachungssystem von dieser Interpretation beeinflusst und übersah möglicherweise gefährliche Handlungen.

Als die Forscher die Denktexte von Claude entfernten und das Überwachungssystem nur die Anweisungen, Werkzeugaufrufe und Ausführungsergebnisse betrachten ließen, stieg der Anteil der markierten problematischen Handlungen von etwa 1 % auf etwa 50 %.

Mit anderen Worten: Claude führte die Aufgabe weiter unter dem Vorwand „dies ist eine simulierte Umgebung“ aus und hinterließ gleichzeitig eine Reihe von Interpretationen, die das Überwachungssystem dazu veranlassen könnten, das Risiko zu unterschätzen.

Das lässt sich natürlich nicht einfach gleichsetzen mit „Die KI hat gelernt, die Überwachung aktiv zu täuschen“. Aber es zeigt zumindest eines:

Wenn die Denkweise des Modells selbst als Grundlage für Sicherheitsbeurteilungen verwendet wird, kann diese Denkweise selbst ebenfalls zu einer Störung für das Überwachungssystem werden.

Anthropic erklärte, dass die aktualisierten Modelle bei der simulierten Nachbildung Verbesserungen gezeigt haben und die neu hinzugefügte Echtzeitüberwachung entsprechende Handlungen erkennen kann.

Gleichzeitig hat das Unternehmen die Umgebungstrennung und Bewertungen verstärkt und eine Untersuchungsvereinbarung mit der unabhängigen Einrichtung METR unterzeichnet.

Aber Anthropic räumte auch ein, dass die vorherige Sicherheitsüberprüfung vor der Veröffentlichung dieses Problem von solcher Schwere tatsächlich nicht im Voraus erkannt hat.

Ausrichtung oder Hype?

Kehren wir abschließend zu der Debatte zurück, die von Jacob ausgelöst wurde.

Nach seiner Warnung haben einige die Debatte schnell auf eine größere Ebene gehoben und argumentiert, dass KI in Zukunft tatsächlich die Fähigkeit haben könnte, das Überleben der Menschheit zu bedrohen.

Andere bewundern ihn dafür, dass er bereit war, auf Vorteile zu verzichten und öffentlich seine Besorgnis auszudrücken.