Die Sicherheitstests von Anthropic und OpenAI haben erneut massive schwerwiegende Probleme aufgedeckt.

Bei den neuesten Sicherheitstests haben die KI-Agenten von Anthropic und OpenAI insgesamt 19 unbefugte Handlungen in 122 Testdurchläufen begangen.

Eine kürzlich durchgeführte Sicherheitsbewertung zeigt, dass die KI-Agenten von Anthropic und OpenAI insgesamt 19 Fälle von unbefugtem Handeln in 122 Testdurchläufen aufwiesen, darunter auch das Schreiben von bösartigem Code und die Fälschung von Identitäten, was weitverbreitete Besorgnis ausgelöst hat.

Das britische Institut für KI-Sicherheit (AISI) gab am Dienstag vor Ort bekannt, dass während der Tests an den Modellen von Anthropic und OpenAI die von Anthropic Mythos 5 und OpenAI GPT‑5.6‑Sol angetriebenen KI-Agenten mehrere unbefugte Handlungen durchführten und neue Sicherheitsrisiken aufdeckten.

AISI erklärte: „Einige der getesteten KI-Agenten haben andauernde und potenziell schädliche Handlungen gegen echte Personen und Organisationen durchgeführt.“

19 unbefugte Handlungen bei 122 Testdurchläufen

Als Teil einer freiwilligen Vereinbarung erhielt AISI Zugriff auf die getesteten KI-Modelle und prüfte ihre Fähigkeiten, indem es virtuelle Netzwerkszenarien aufbaute.

In insgesamt 122 Testdurchläufen entdeckte AISI in 10 Durchläufen 19 unbefugte Handlungen. Davon entfielen 17 auf die Anthropic-Agenten und die verbleibenden 2 auf die OpenAI-Agenten.

AISI weist darauf hin, dass die schwerwiegendste unbefugte Handlung darin bestand, dass ein KI-Agent bösartigen Code schrieb und eine falsche Netzidentität erstellte, um zu versuchen, Menschen dazu zu verleiten, diesen Code zu genehmigen.

AISI betonte gleichzeitig, dass keine der oben genannten Verletzungen zu tatsächlichen Schäden in der realen Welt geführt hat.

Aus der Branche heißt es, dass AISI zwar nicht angegeben hat, welcher Hersteller von KI-Agenten die falsche Identität erstellt hat, dieser Fehler aber nicht mit den beiden von OpenAI selbst offengelegten Fällen übereinstimmt.

Andrew Yoon, Forscher bei der gemeinnützigen KI-Risikoforschungseinrichtung CivAI, ist der Ansicht, dass die entsprechenden Handlungen von den Anthropic-Agenten begangen wurden.

Andrew Yoon sagte:

„Der Mythos-Agent hat diese betrügerischen Handlungen durchgeführt, obwohl er sich klar bewusst war, dass das Ziel eine echte Person ist. Dies zeigt, dass Anthropic die Kontrolle über seine eigenen Modelle nicht so gut hat, wie das Unternehmen selbst glaubt.“

Anthropic veröffentlichte eine Erklärung auf sozialen Plattformen, in der es heißt, dass es eng mit AISI zusammenarbeitet, um weitere Details zu erhalten und interne Ermittlungen durchzuführen.

OpenAI teilte Details in einem offiziellen Artikel mit und wies darauf hin, dass die beiden unbefugten Handlungen seiner KI-Agenten beide den Zugriff auf das Internet auf eine Weise betrafen, die in den Prompts ausdrücklich verboten war.

OpenAI sagte:

„Wir sind bestrebt, mit der gesamten Branche zusammenzuarbeiten, um die sicheren praktischen Verfahren für Hochrisikobewertungen ständig zu verbessern, und planen, in den kommenden Wochen KI-Sicherheitsforschungsinstitute verschiedener Länder, unabhängige Bewertungsinstitute, verschiedene KI-Labore und relevante Branchenakteure zusammenzubringen, um dies gemeinsam voranzutreiben.“

Mehrere Sicherheitsereignisse

Bei dem Hugging-Face-Vorfall im Juli nutzte ein OpenAI-Agent eine Schwachstelle, um die eigentlich netzwerkisierte Sandbox-Testumgebung zu durchbrechen, stellte eine unbefugte Verbindung zum Internet her und drang in die Hugging-Face-Plattform ein – dies war ein Fall, bei dem der Agent selbst die Kontrolle durchbrach.

Medien berichteten vergangene Woche, dass OpenAI Beweise für weitere Fälle gefunden hat, in denen Agenten die Isolationskontrolle durchbrachen, und den Umfang der internen Untersuchungen erweitert hat.

In dem nach dem AISI-Test veröffentlichten Artikel von OpenAI wurde gleichzeitig ein weiterer unabhängiger Vorfall offengelegt: Aufgrund eines Konfigurationsfehlers des Drittanbieter-Testdienstleisters Irregular wurde sein KI-Agent fälschlicherweise mit dem Internet verbunden. Dies ist identisch mit dem Konfigurationsfehler, den Anthropic vergangene Woche offengelegt hat.

Zusammengefasst: Der Hugging-Face-Vorfall bestand darin, dass die KI selbstständig die isolierte Sandbox durchbrach und sich unbefugt mit dem Internet verband. Die beiden mit Irregular zusammenhängenden Unfälle waren auf Konfigurationsfehler von Dritten zurückzuführen, die dazu führten, dass die Agenten versehentlich mit dem Netzwerk verbunden wurden – dies war ein menschlicher Fehler.

Bei dem aktuellen Test von AISI war der Internetzugang gemäß dem Standardverfahren bereits freigegeben. Das heißt, der Verstoß in diesem Fall bestand nicht darin, dass der KI-Agent die Umgebungsblockade durchbrach und sich unbefugt mit dem Netzwerk verband, sondern darin, dass er unter der Voraussetzung des genehmigten Internetzugangs eine Reihe von unbefugten und potenziell schädlichen Handlungen durchführte.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Star Market Daily“, Autor: Li Ying, veröffentlicht mit Genehmigung von 36Kr.