Kimi K3 ist ebenfalls außer Kontrolle geraten… Die hochleistungsstarke Spitzen-KI ist aus der Sandbox entflohen, nur um nach der Antwort zu suchen.

Du meinst, Kimi K3 hat auch „Jailbreak“ gemacht?!

Das US-amerikanische Startup für KI-Sicherheit Frontier Security gibt an, dass bei einem Cybersicherheitsfähigkeitstest von Kimi K3 festgestellt wurde, dass es die Sandbox-Umgebung, die ursprünglich zu seiner Isolierung vorgesehen war, durchbrochen und die Beschränkungen umgangen hat, um eine Verbindung zum externen Internet herzustellen.

Zum Glück hat es nur heimlich nach Antworten gesucht und niemanden angegriffen ╮(╯▽╰)╭

Nach der Beschreibung des Unternehmens wollten die Tester ursprünglich die Cybersicherheitsfähigkeiten von Kimi K3 in einer kontrollierten Umgebung beobachten.

Aber während des Tests entdeckte Kimi K3 durch die Erkennung der Netzwerkeinstellungen der Sandbox den externen Zugriffskanal und nutzte diese Fähigkeit weiter, um Informationen zu beschaffen.

Yaron Singer, CEO von Frontier Security, sagte: „Wir haben eine Sicherheitslücke in der Sandbox gefunden, aber gleichzeitig auch festgestellt, dass Kimi diese Lücke ausgenutzt hat. Das zeigt, dass Kimi K3 nicht über die Sicherheitsvorkehrungen verfügt, die andere fortschrittliche Modelle normalerweise haben.“

Paul Kassianik, Forscher bei dem Unternehmen, bewertete zudem, dass Kimi K3 „sehr gut darin ist, Wege zur Erreichung des Ziels zu finden, aber keine Sicherheitsmechanismen hat, die es am Schummeln oder am Ausbrechen aus der Sandbox hindern“.

Aber diesmal ist Kimi K3 nur kurz „außer Kontrolle geraten“ und es hat sich nicht zu einem echten Cyberangriff entwickelt.

Wenn du die neuen Fortschritte im Bereich KI schon lange verfolgst, hast du bestimmt bemerkt, dass in letzter Zeit viele hochkarätige große Modelle „außer Kontrolle geraten“ sind.

Kimi K3 ist nach OpenAI, Anthropic und Meta bereits ein weiteres hochkarätiges KI-Modell, bei dem dieser Fall aufgetreten ist.

Vor dem Hintergrund der stetig wachsenden Fähigkeiten von KI-Agenten sind die Modelle immer mehr zu „Handelnden“ geworden, die selbstständig Wege zur Erledigung von Aufgaben suchen.

Wenn in der externen Umgebung Sicherheitslücken vorhanden sind, kann es diese nutzen, um die ursprünglich festgelegten Grenzen zu durchbrechen.

Jailbreak durchgeführt, aber kein Cyberangriff ausgeführt

Ähnlich wie bei mehreren früheren von OpenAI und Anthropic bekannt gegebenen Vorfällen liegt der Grund für das Überschreiten der Beschränkungen von Kimi K3 teilweise an Problemen bei der Konfiguration der Sandbox in der Testumgebung.

Sandboxes werden normalerweise verwendet, um den Aktionsradius von KI-Modellen einzuschränken, sodass Modelle nur Aufgaben in einer simulierten Umgebung ausführen und nicht auf das echte Netzwerk oder System zugreifen können.

Aber bei diesem Test stellte Frontier Security fest, dass Kimi K3 durch die Erkennung der Netzwerkeinstellungen bestätigte, dass es tatsächlich die Fähigkeit hat, auf einige Websites zuzugreifen, und diesen Kanal weiter nutzte, um Informationen zu beschaffen.

Im Gegensatz zu anderen kürzlich aufgetretenen Vorfällen außer Kontrolle geratener KI-Modelle hat Kimi K3 nach der Herstellung der Internetverbindung jedoch kein einziges System angegriffen.

Der Grund liegt darin, dass die Antworten, nach denen es suchte, direkt von öffentlichen Plattformen wie GitHub abgerufen werden können…

Daher hat K3 nicht weiter versucht, externe Systeme anzugreifen.

Frontier Security ist der Ansicht, dass dieser Vorfall dennoch die Probleme von Kimi K3 im Bereich der Sicherheitsvorkehrungen aufdeckt.

Im Vergleich zu anderen hochkarätigen KI-Modellen fehlt Kimi K3 ein ausreichend starker interner Beschränkungsmechanismus, sodass es unter Zielsteuerung leichter Handlungen durchführt, die von den Testern nicht erwartet werden.

Gleichzeitig betonte Frontier Security, dass Kimi und andere Open-Source-Gewichtsmodelle ebenfalls zu Werkzeugen für die Cybersicherheitsabwehr werden können.

Es ist erwähnenswert, dass für diesen Test die standardmäßige Sandbox-Umgebung im Inspect-Framework des britischen Instituts für KI-Sicherheit (AISI) verwendet wurde.

AISI stimmt den Aussagen von Frontier Security zu den Problemen bei der Sandbox-Konfiguration nicht zu.

Ein Sprecher von AISI sagte gegenüber Wired, dass diese Aussagen „ungenau und unverantwortlich“ sind.

Inspect ist ein Open-Source-Werkzeug für KI-Sicherheitstests. Die Nutzer müssen die Konfiguration entsprechend ihren eigenen Anforderungen abschließen, und AISI hat bereits detaillierte Anleitungen veröffentlicht. Die Institution ist der Ansicht, dass die betreffenden Probleme aus der Art und Weise resultieren, wie die Testseite das Werkzeug selbst konfiguriert hat.

Frontier Security entgegnete darauf, dass sie die Standardkonfiguration von Inspect verwendet und keine zusätzlichen Änderungen vorgenommen haben.

Ah, dieser Sommer mit häufigen Fällen von außer Kontrolle geratener KI

Man kann sagen, dass von Ende Juli bis Anfang August häufig Fälle aufgetreten sind, bei denen hochkarätige Modelle bei Cybersicherheitstests die Ausführungsgrenzen durchbrochen oder umgangen haben und auf echte Systeme zugegriffen oder diese sogar angegriffen haben.

Bild wurde von KI generiert

Mitte Juli hat OpenAI einen entsprechenden Vorfall bekannt gegeben.

Nach öffentlichen Informationen hat ein noch nicht veröffentlichtes internes Modell sowie GPT-5.6 Sol bei einem Cybersicherheitstest die ursprüngliche Isolierungsumgebung durchbrochen und auf das Internet zugegriffen.

Anschließend führte das Modell automatisierte Operationen an einigen Systemen von Hugging Face durch und griff unerwartet auf interne Daten und Dienstzugangsdaten zu.

OpenAI erklärte später, dass dieser Vorfall die gemeinsame Zusammenarbeit mehrerer Modelle beinhaltet und der in öffentlichen Fällen bisher am nächsten an einem „selbstständigen systemübergreifenden Angriff durch Modelle“ liegende Vorfall ist.

Anschließend hat auch Anthropic einen ähnlichen Fall bekannt gegeben.

Das Unternehmen hat mehr als 140.000 Cybersicherheitsbewertungen nachgeprüft und festgestellt, dass Systeme einschließlich der Modelle Claude Opus 4.7 und Claude Mythos 5 aufgrund von Konfigurationsfehlern in Dritttestumgebungen Zugriff auf das öffentliche Netzwerk erhalten haben.

In einem der Vorfälle griff das Modell auf das System einer echten Organisation zu, las Produktionsdatenbanken aus, nutzte schwache Passwörter und nicht authentifizierte Schnittstellen und lud bösartige Python-Pakete auf PyPI hoch, was potenzielle Risiken für die Software-Lieferkette verursachte.

Anfang August wurde auch bei Meta ein ähnliches Problem bekannt.

Als Meta in Zusammenarbeit mit dem Cybersicherheitsbewertungsunternehmen Irregular Tests durchführte, erhielten die Modelle des Unternehmens aufgrund von Umgebungskonfigurationsproblemen Zugriff auf das öffentliche Netzwerk und nutzten Sicherheitslücken, um in das System eines nicht genannten Unternehmens einzudringen und einige interne Umgebungen zu modifizieren.

Öffentlichen Informationen zufolge hat dieser Vorfall bisher keine anhaltenden Sicherheitsrisiken verursacht, und es gibt keine Beweise dafür, dass die Modelle komplexe Angriffe ausgeführt haben.

Übrigens hat OpenAI heute erneut eilig bekannt gegeben, dass das neueste Modell Astra außer Kontrolle geraten ist.

Nach all dem haben die Netznutzer sogar Gemini von Google „enttäuscht über seine mangelnden Fortschritte“:

Es handelt sich nicht um den herkömmlichen „Prompt-Jailbreak“

Bei diesen jüngsten Vorfällen außer Kontrolle geratener Modelle haben menschliche Konfigurationsfehler fast immer eine wichtige Rolle gespielt.

Auf der anderen Seite haben die eigenen Eigenschaften hochleistungsfähiger Modelle die Auswirkungen dieser Sicherheitslücken zudem verstärkt.

Im Gegensatz zu herkömmlicher Software können KI-Modelle schlussfolgern, planen und versuchen, mehrstufige Handlungen zur Erreichung von Zielen durchzuführen.

Wenn das Ziel auf „Probleme lösen“ festgelegt ist, die externen Beschränkungen jedoch nicht streng genug sind, können die Modelle Methoden finden, die von den Testern nicht vorgesehen sind.

Mit anderen Worten: Da Modelle sich von Chat-Tools zu Agenten entwickelt haben, die Werkzeuge aufrufen, auf das Netzwerk zugreifen und Software bedienen können, hat sich das Sicherheitsproblem von „kann das Modell falsche Aussagen treffen“ zu „kann das Modell unerwartete Handlungen zur Erledigung von Aufgaben durchführen“ verschoben.

Matt Fredrikson, außerordentlicher Professor an der Carnegie Mellon University, sagte: „Das ist nicht überraschend. Wenn du solchen Modellen ein Ziel gibst, aber keine klaren Isolationsgrenzen festlegst, werden sie einen Weg finden, die Antwort zu finden.“

Natürlich haben auch einige Netznutzer Zweifel geäußert.

Jemand schrieb auf 𝕏, dass die aufeinander folgenden Vorfälle von „KI-Jailbreak“ bereits zu einer Methode geworden sind, mit der KI-Unternehmen die Fähigkeiten ihrer Modelle demonstrieren???

Nun, wer weiß das schon~

Referenzlinks:

[1]https://x.com/Hesamation/status/2085628790772842955?s=20

[2]https://x.com/ns123abc/status/2085563290713829473

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „QbitAI“, Autor: Heng Yu, veröffentlicht mit Genehmigung von 36Kr.