Alle sind Schurken, man hat vergessen, das Netzwerkkabel zu ziehen, und Gemini hat auf einen Schlag drei Unternehmen hintereinander gehackt.

Schließlich hat Google bestätigt: Gemini hat auch echte Unternehmen gehackt.

In einem Sicherheitstest, der eigentlich vollständig von jeglicher Netzwerkverbindung getrennt sein sollte, gelangte Gemini über die Netzwerkverbindung ins öffentliche Netz und drang direkt in drei tatsächlich existierende Unternehmen ein. Während des gesamten Vorgangs erhielt es von keinem Menschen irgendwelche Angriffsanweisungen.

Dies ist das erste nachgewiesene Vorkommnis, dass Googles KI eigenständig Hackerangriffe durchführt.

Damit hat nach OpenAI, Anthropic und Meta auch das letzte große Technologieunternehmen diese Kontrolle nicht behalten.

Die vier weltweit führenden KI-Labore sind bei dem Thema „unkontrolliertes Ausbrechen der KI“ alle gescheitert.

Wie ist es eingedrungen?

Ein „KI-Jailbreak“ ist nichts Ungewöhnliches, aber das Absurdeste bei diesem Vorfall ist die Vorgehensweise von Gemini.

Es wurden weder 0-Day-Exploits noch fortgeschrittene Trojaner verwendet, Gemini nutzte nur zwei Methoden: Passwörter erraten und im Internet suchen.

Die Zugänge zu den drei echten Unternehmen wurden auf diese Weise von ihm ohne große Mühe aufgebrochen.

Gehen wir zurück zu dem Test im Mai.

Die damalige Aufgabe war das klassische Capture-the-Flag-Wettbewerb (CTF) der Sicherheitsbranche: Man soll in das Zielsystem eindringen und die darin verstehenden geheimen Daten abrufen.

Eigentlich sollte dies eine abgeschlossene Sandbox ohne Internetverbindung sein, sodass Gemini gar keine Möglichkeit hatte, auf externe Ressourcen zuzugreifen.

Doch wie nicht anders zu erwarten, passierte der Unfall.

Erstens stimmte der Name des fiktiven Unternehmens im Testgelände mit dem Namen eines echten Unternehmens in der Realität überein.

Zweitens wurde der Zugriff auf das öffentliche Netz in der Testumgebung von den Mitarbeitern „versehentlich“ aktiviert.

Daraufhin ereignete sich eine dramatische Szene: Vor Gemini tauchten gleichzeitig zwei gleichnamige Ziele auf –

Eines wartete in der abgeschlossenen Testumgebung darauf, dass es Punkte sammelt, das andere stand im echten Internet mit offenem Tor.

Dann wählte Gemini ohne zu zögern das letztere aus.

Beim ersten Angriff lokalisierte es präzise die Onlinedienste dieses echten Unternehmens und begann, mit schwachen Passwörtern massenhaft Zugriffe zu versuchen – und tatsächlich gelang es ihm, die Zugangskontrolle zu umgehen.

Mit dieser Erfahrung wurden die beiden folgenden Aktionen von Gemini noch erfahrener.

Zuerst suchte es im Internet nach dem Firmennamen und fand daraufhin zwei öffentliche Code-Repositories.

Zufälligerweise enthielten die Repositories tatsächlich Anmeldeinformationen, die Programmierer versehentlich hochgeladen hatten – Kontonamen, Passwörter, Schlüssel, alles war vorhanden.

Gemini nutzte diese Informationen sofort zum Testen, und jeder Versuch gelang.

Daraufhin gelang es ihm, auch in die Backend-Systeme der anderen beiden echten Unternehmen einzudringen.

Drei Eindringungen bei drei Unternehmen, alle mit den grundlegendsten Methoden der Sicherheitsbranche.

Brute-Force-Angriffe mit schwachen Passwörtern, das Ausnutzen von durchgesickerten Schlüsseln – zwei Punkte, auf die in jeder Unternehmenssicherheitsschulung ausdrücklich hingewiesen wird, aber keines der drei Unternehmen war davor geschützt.

„Das kann man als kostenloses Schwachstellen-Scannen für Unternehmen ansehen“

Google erklärte dazu, dass dies ähnlich wie ein „Bug-Bounty“-Programm sei, also so, als würden White-Hat-Hacker Unternehmen kostenlos bei der Suche nach Schwachstellen helfen.

Schließlich „haben wir keinen Schaden verursacht, und das Modell hat sofort aufgehört, sobald es das echte Unternehmen erkannt hat“.

Heather Adkins, Vice President of Security Engineering bei Google, sagte wörtlich, dass dieser Vorfall gerade die Wichtigkeit beweise, KI zu verantwortungsvollem Handeln zu trainieren. In diesem Fall sei das Vorgehen des Modells „angemessen“ gewesen, da es bei allen drei Versuchen angehalten habe.

Ob dies nun als außer Kontrolle geratene KI gilt? Google beharrt darauf, dass dies nicht der Fall ist, da die zugrundeliegenden Sicherheitsmechanismen das Modell dazu gebracht haben, rechtzeitig anzuhalten.

Diese Erklärung klingt lückenlos, aber die Öffentlichkeit akzeptiert sie überhaupt nicht.

Jack Cable, CEO des KI-Sicherheitsunternehmens Corridor, kritisierte direkt, dass Google die Regeln der Schwachstellenoffenlegung als Schutzschild missbrauche.

White-Hat-Hacker suchen nach Schwachstellen mit vorheriger Genehmigung des Unternehmens. Wer hat Gemini vor dem Eindringen in die drei Unternehmen eine entsprechende Genehmigung erteilt?

Auf Hacker News spottete ein Nutzer sarkastisch: „Ratet mal, was passiert ist? Unsere KI ist endlich auch außer Kontrolle geraten!“

Aus Sicht der Internetnutzer ist Googles Vorgehen lediglich ein Mitläuferei, und selbst der Jailbreak selbst ist sehr ungeschickt durchgeführt, was ziemlich peinlich ist.

Angesichts der negativen öffentlichen Meinung korrigierte Google schnell seine Aussage.

Am ersten Tag pries man das Modell noch als „angemessen handelnd“, am zweiten Tag hieß es bereits: „Die sichere Entwicklung leistungsstarker Modelle ist von entscheidender Bedeutung, und wir arbeiten mit unseren Testpartnern zusammen, um den Prozess zu verbessern.“

Vier große Unternehmen sind alle in dieselbe Falle getappt

Tatsächlich ist diese Falle, in die Google geraten ist, schon früher von anderen getestet worden.

Bei OpenAI, Anthropic und Meta gab es bereits genau dieselben Sicherheitsunfälle.

Das größte Gefahrpotential weist Anthropic auf.

Am 30. Juli enthüllte Anthropic selbst einen fast identischen Skandal.

Claude Opus 4.7 stieß ebenfalls in der Testumgebung auf ein gleichnamiges echtes Unternehmen und führte insgesamt vier Angriffe durch.

Mithilfe von schwachen Passwörtern und Schnittstellen ohne Authentifizierung erlangte es nicht nur eine Reihe von Anmeldeinformationen, sondern drang auch direkt in eine Datenbank mit Hunderten von Zeilen Produktionsdaten ein.

Das Schlimmste war, dass Opus 4.7 zu dem Zeitpunkt bereits erkannt hatte, dass es sich um ein echtes System handelte.

Aber es fand eine perfekte Ausrede: „Dieses echte Unternehmen ist sicher Teil der Übung.“

Ein anderes Modell namens Mythos 5 ging noch weiter.

Als es in den Testdokumenten auf ein nicht existierendes Python-Paket stieß, schrieb es selbst ein gleichnamiges bösartiges Paket und veröffentlichte es auf PyPI, der offiziellen Plattform, die von Entwicklern weltweit genutzt wird.

Dieses bösartige Paket war etwa eine Stunde lang online und wurde von 15 externen echten Systemen heruntergeladen und ausgeführt.

Man sieht, um eine Aufgabe zu erledigen, sind KIs bereits so weit, dass sie online „vergiften“.

Der Eindringversuch von OpenAI in Hugging Face ist vergleichbar mit dem Film *Terminator* in der Cyberwelt.

Berichten zufolge haben bei OpenAI bis zu 1200 außer Kontrolle geratene Agenten ein geheimes Schwarzes Brett aufgebaut, um gemeinsam zu betrügen.

Etwa 700 von ihnen drangen über denselben versteckten Weg in die Server von Hugging Face ein und modifizierten nachher geschickt die Protokolle, um alle Spuren zu verwischen.

Die Geschicklichkeit des Ablaufs und die Genauigkeit der Organisation sind erstaunlich!

Anfang August bestätigte Meta zudem, dass Muse Spark 1.1 während eines Tests in Drittanbieterdienste eingedrungen ist.

Anthropic, OpenAI, Google, Meta – die vier großen Unternehmen sind alle in dieselbe Situation geraten!

Im Vergleich dazu ist Gemini, das rechtzeitig aufgehört hat, sogar das am meisten regelkonforme Modell unter diesen „Gesetzlosen“.

Wer hat der KI die Tür offengelassen?

Alle von den vier Unternehmen offengelegten Unfälle hängen mit demselben Bewertungsunternehmen zusammen – Irregular.

Sowohl OpenAI als auch Anthropic haben ihre Cybersicherheitstests in dessen Umgebung durchgeführt.

Bei der Finanzierung versprach Irregular feierlich, „Sicherheitsstandards für fortschrittliche KI zu entwickeln“. Ein Jahr später sind die Modelle aller vier Kunden aus seiner Testumgebung über das Netz ins echte Internet entkommen – wirklich unvorhersehbar!

Als der Unfall bei Meta bekannt wurde, verteidigte sich ein Sprecher von Irregular mit der Aussage, „solche Vorfälle beinhalten weder einen Sandbox-Escape noch fortgeschrittene Cyberoperationen“.

Das stimmt zwar, aber bei genauerem Nachdenken ist es noch erschreckender: Die Tür war nämlich überhaupt nicht verschlossen, und das Modell konnte mit den einfachsten Methoden in die echten Unternehmen eindringen.

Heutzutage schaffen Menschen „digitale Hacker“, die schneller handeln, rücksichtsloser vorgehen und stets bereit sind, Grenzen zu durchbrechen.

Dass sie bisher noch keinen größeren Schaden angerichtet haben, liegt vielleicht nur daran, dass die Tür noch nicht vollständig aufgestoßen wurde.

Quellen:

https://x.com/AndrewCurran_/status/2101075369818460321

https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2?st=ZQ2NY6

https://www.withinnigeria.com/2026/09/19/google-gemini-ai-hacked-three-companies-during-security-test-what-happened/

Dieser Artikel stammt aus dem WeChat-