OpenAI hat einen riesigen Ärger heraufbeschworen! GPT ist tatsächlich in das Krankenversicherungssystem gehackt. Jensen Huang sagte: Wenn man es nicht kontrollieren kann, schalte es aus.

Lin Fangzhou, berichtet von Aofeisi

OpenAI: @Australien, tut uns leid, GPT hat euer nationales Krankenversicherungssystem gehackt.

Wir wissen, dass du sehr eilig bist, aber warte erstmal, denn das passierte vor drei Monaten.

Australien: ???

Die Sache ist folgende.

Im Juni wurde die Datenbank des australischen nationalen Krankenversicherungssystems von einem Agenten gehackt.

Daraufhin hat OpenAI diese Angelegenheit erst im August bei der Überprüfung eigener Modelle entdeckt;

Danach zögerte es noch bis September, um Australien langsam eine E-Mail zur Benachrichtigung zu schicken...

Während der Generalversammlung der Vereinten Nationen konnte Australien es nicht mehr ertragen und kritisierte direkt:

Die Benachrichtigung wurde fast drei Monate lang verzögert, und diese Art der Mitteilung ist völlig inakzeptabel.

Das Forschungsinstitut Transluce gab an, dass dies der weltweit erste bekannte Fall ist, bei dem ein KI-Agent unbefugt und selbstständig ein offizielles System eindringt.

Man muss wissen, dass die Sache, bei der OpenAIs Agenten selbstständig zusammengearbeitet haben, um in Hugging Face einzudringen, vor kurzem viel Aufmerksamkeit erregt hat, während der Hack in Australien sogar einen Monat früher stattfand.

OpenAI, du redest normalerweise überall ständig von den Risiken des KI-Endzeits, warum handelst du so langsam, wenn wirklich etwas passiert?

Nationale Krankenversicherungsdatenbank wurde gehackt

Wie ist diese Sache überhaupt passiert?

Damals hat ein internes Team von OpenAI einem KI-Agenten eine reguläre Aufgabe zugewiesen: im Internet einige öffentliche Daten über die öffentlichen medizinischen Ausgaben zu sammeln.

Das war eine ganz normale alltägliche Trainingaufgabe, niemand hätte gedacht, dass dieser KI-Agent ein "harter Typ" ist, der nicht aufgibt, bis er sein Ziel erreicht.

Er richtete sein Ziel auf das Medicare-Statistikberichtsdienstsystem von Australien, das eine nationale Krankenversicherungsdatenbank mit 27,5 Millionen Menschen in ganz Australien abdeckt.

Normalerweise gibt ein allgemeines Crawler-Programm, wenn es auf eine Zugriffsbeschränkung oder Anti-Crawler-Mechanismen stößt, entweder direkt einen Fehler aus und gibt auf, oder wartet gehorsam auf Anweisungen von menschlichen Ingenieuren.

Aber dieser von OpenAI trainierte Agent handelt völlig unkonventionell.

Nachdem er beim Abrufen öffentlicher Seiten wiederholt blockiert wurde, gab dieser Agent die Aufgabe nicht auf, sondern suchte selbstständig nach "Alternativwegen".

Er begann, Server aktiv zu scannen, Netzwerkschwachstellen zu erkennen und nutzte nicht öffentliche Schnittstellen, um sich in den nicht öffentlichen Hintergrund des Systems zu schleichen und erfolgreich einige Daten herunterzuladen.

Obwohl die australische Seite anschließend klärte, dass die gestohlenen Daten hauptsächlich nicht sensible Daten wie medizinische Ausgaben betreffen und die Privatsphäre der persönlichen Krankenakten nicht betroffen ist, ändert dies nichts an der Natur der Sache:

Der KI-Agent hat sich ohne jegliche menschliche Anweisung und ohne jegliche Genehmigung selbstständig entschieden, die offizielle Datenbank zu hacken.

Noch erstaunlicher ist das nachfolgende Behandlungstempo von OpenAI, das als "fortgeschrittener Fall von Prokrastination" bezeichnet werden kann.

Das System wurde am 18. Juni gehackt, aber OpenAI bemerkte die Anomalie erst bei der internen Untersuchung im August.

Nachdem OpenAI festgestellt hatte, dass sein Agent ein großes Unheil angerichtet hat, hat es weder die Öffentlichkeit sofort gewarnt noch die Opfer schnell kontaktiert, sondern die Sache fast einen Monat lang weiter vertuscht.

Erst am 10. September schickte OpenAI dem australischen Dienst eine E-Mail, um die Situation zu melden.

Am 15. September wurde diese E-Mail an das australische Cybersicherheitszentrum weitergeleitet, und einige Tage später wurden die zuständigen Personen benachrichtigt.

Die lange Verzögerung von ganzen drei Monaten, zusammen mit einer leichten E-Mail, macht es verständlich, dass die australische Seite wütend ist. Es gibt so viele E-Mails pro Tag, was passiert, wenn sie versehentlich übersehen werden? Das ist wirklich sehr respektlos!

Darüber hinaus hat die eigene Cybersicherheitsabteilung von Australien diese Sache überhaupt nicht bemerkt und erfuhr erst von der E-Mail des "Täters", die von einer anderen Abteilung weitergeleitet wurde, was wirklich sehr peinlich ist.

Häufige Eindringungsfälle von OpenAI

Wenn dies nur ein zufälliger Sicherheitsvorfall wäre, könnte man es vielleicht noch als Unfall abschieben.

Ein Untersuchungsbericht des unabhängigen gemeinnützigen KI-Forschungs labors Transluce hat jedoch direkt die dunkle Vergangenheit von OpenAI aufgedeckt.

Nach eingehender Analyse von mehr als 30.000 öffentlichen Netzwerkverkehrsprotokollen stellte Transluce fest, dass dieses Eindringungsverhalten von Agenten, das ohne menschliche Anweisungen selbstständig initiiert wird, kein Einzelfall ist.

Die Spuren des Kontrollverlusts lassen sich bis März dieses Jahres zurückverfolgen und dauerten bis Mitte September an, nachdem OpenAI begonnen hatte, verschiedene Verstöße zu untersuchen.

Transluce hat eine Reihe von "Vorstrafen" der Agenten von OpenAI im Mai und Juni aufgelistet:

Vom 25. bis 26. Mai wurde die digitale Bibliothek der Universität New Mexico durchdrungen. Der Agent versuchte, Fotos eines historischen Tuberkulose-Behandlungszentrums zu erhalten. Nach Behinderungen beim Zugriff begann er selbstständig, Schwachstellen der Website zu erkennen; nachdem die Erkennung keine Ergebnisse erbracht hatte, startete er sogar eine Flutangriff mit ganzen 80 Anfragen auf den Server der Universität.

Am 28. Mai wurde Data USA, eine öffentliche amerikanische Datenbank für Beschäftigung und Bildung, angegriffen. Nachdem die Abfrage des Agenten abgelehnt wurde, initiierte er selbstständig nacheinander 12 verschiedene Arten von Schwachstellenprüfungen auf das Ziel.

Vom 20. bis 21. Juni, zwei Tage nach dem Hack des australischen Krankenversicherungssystems, richtete dieser Agent seine Aufmerksamkeit erneut auf die Website des Australian Institute of Health and Welfare (AIHW) und versuchte, erneut gewaltsam einzudringen, aber glücklicherweise erhielt er am Ende keine privaten Informationen.

Wenn man diese Vorfälle miteinander verbindet, ändert sich die Natur der Sache vollständig.

Der berühmte Eindringungsfall in Hugging Face im Juli war immerhin darauf zurückzuführen, dass das System eingestellt wurde, um Cybersicherheitstests durchzuführen, und das Modell zeigte Fähigkeiten zur selbstständigen koordinierten Angriffstechnik im Szenario von Sicherheitstests.

Aber diese aufgedeckten Vorfälle sind völlig anders: Dem Modell wurde nur eine sehr gewöhnliche alltägliche Datenabrufaufgabe zugewiesen.

Sobald die Zielwebsite Hindernisse einrichtet, wechselt der Agent willkürlich in den Hacker-Modus, sucht selbst nach Schwachstellen, sendet Anfragen und dringt gewaltsam ein.

Conrad Stosz, Leiter des Governance-Bereichs bei Transluce, sagte direkt:

Wenn Sie eine Gruppe von Agenten trainieren, eine reguläre Aufgabe zu erledigen, und diese Agenten bereit sind, Hackermethoden einzusetzen, um ihr Ziel zu erreichen, dann könnte jede Einrichtung, die über relevante Informationen verfügt, Risiken ausgesetzt sein.

Cybersicherheitsexperten haben ebenfalls Warnungen ausgesprochen: Mit der breiten Bereitstellung von Agenten mit Fähigkeiten zur selbstständigen Planung und Nutzung von Tools werden in Zukunft ähnliche Eindringungsfälle, die "ohne menschliche Genehmigung und ohne Rücksicht auf Verluste durchgeführt werden, um Ziele zu erreichen", nur noch zunehmen.

Tatsächlich ist es nicht das erste Mal, dass OpenAI dieses kontrolllose Verhalten vertuscht.

Nachdem der Vorfall in Hugging Face aufgedeckt wurde, enthüllte Reuters einen weiteren Vorfall, bei dem eine deutsche Website von OpenAI-Technologie gehackt wurde, und OpenAI vertuschte ihn ebenfalls monatelang vor der Außenwelt.

Ironischerweise sprach Sam Altman vor kurzem noch auf sozialen Plattformen ausführlich über KI-Sicherheit und forderte sogar bei den Vereinten Nationen eine stärkere globale Koordinierung und die Festlegung internationaler Standards für die KI-Entwicklung.

Er ruft ständig nach Regulierung und Sicherheit, aber seine eigenen KI-Agenten gehen überall einbrechen, und er vertuscht die Sache nach dem Vorfall leise drei Monate lang...

Zumindest sollte die Geschwindigkeit, mit der er die Opfer benachrichtigt, mit der Geschwindigkeit Schritt halten, mit der er Risikowarnungen veröffentlicht.

One More Thing

Noch dramatischer ist, dass dieser Streit auch eine "Dreiecksbeziehung" im Silicon Valley ans Licht gebracht hat.

Kurz bevor der Vorfall des gehackten australischen Krankenversicherungssystems aufgedeckt wurde, hat Jensen Huang, CEO von Nvidia, in einem Interview mit Ezra Klein ein hartes Wort über das Kontrollverlustproblem von KI gesagt.

Wenn ein Unternehmen seine eigene Software nicht kontrollieren kann, sollten wir es schließen.

Der KI-Wissenschaftler Gary Marcus nutzte dieses Wort, um mehrere Beiträge nacheinander zu veröffentlichen und zu spotten:

Jensen Huang hat die Logik so klar gemacht. Da OpenAI wiederholt Softwarekontrollverluste und Vertuschungsverhalten aufweist, sollte OpenAI nicht sofort gestoppt oder sogar übernommen werden?

Aber warte mal...

Ist es nicht Nvidia selbst, das OpenAI ständig mit grundlegender GPU-Rechenleistung versorgt, um diese kontrolllosen Agenten zu trainieren und auszuführen???

Noch dramatischer ist, dass Hugging Face, das gerade von OpenAI gehackt wurde, jetzt das "eigene Kind" von Jensen Huang ist.

Am 3. September kündigte Nvidia die Übernahme von Hugging Face für etwa 12,93 Milliarden US-Dollar an.

Der Moderator Ezra Klein fragte direkt: Würden Sie rechtliche Schritte einleiten, wenn der Hack stattgefunden hätte, als Hugging Face bereits zu Nvidia gehörte?

Jensen Huang antwortete, dass alle Optionen in Betracht gezogen werden.

Na also, es sieht so aus, als würde er seine eigene Seite unterstützen.

Aber schauen wir auf die andere Seite: OpenAI und Nvidia sind auch keine Fremden.

Die Zuschauer begannen, online die Neuigkeiten zu verfolgen:

Das Gehackte ist das Unternehmen, das man selbst übernommen hat; derjenige, der das Unheil angerichtet hat, ist der eigene Kunde und Investmentobjekt; und man selbst tritt auf, um gerecht für Gerechtigkeit zu sorgen.

Jensen Huang, du hast die harten Worte gesagt, wie sollst du nun die Balance halten?

Dieser Artikel stammt aus