AI-Jailbreak: Das Silicon Valley gerät in Panik, wovor fürchten sich die Menschen eigentlich?

Am 28. Juli zog eine Petition mit dem Titel „Pacing the Frontier (Steuerung der Grenzbereiche)“ die Aufmerksamkeit der globalen KI-Branche auf sich.

1346 Kernmitarbeiter (Daten vom 4. August) von großen KI-Unternehmen im Silicon Valley wie OpenAI und Anthropic haben die Petition unterzeichnet und die US-Regierung dazu aufgerufen, internationale Zusammenarbeit zu fördern sowie notwendige Technologien und Governance-Tools zu entwickeln, um das Tempo der automatisierten KI-Entwicklung zu steuern.

In der Zeit, in der sich die globale KI-Entwicklung rasant entwickelt, trägt das Erscheinen dieser Petition tatsächlich eine besondere Bedeutung, als würde man versuchen, die KI abzubremsen. Hinter der seltsamen Atmosphäre des „drohenden Kontrollverlusts der KI“, die durch dieses Ereignis freigesetzt wird, scheint die Entwicklungsgeschichte der KI einen markanten Wendepunkt zu erreichen.

Wer will die KI in den Käfig sperren?

Zuerst muss eine Information klargestellt werden: Das Kernanliegen dieser Petition mit dem Titel „Pacing the Frontier“ ist nicht, „sofort die Bremse für die KI-Entwicklung zu ziehen“, sondern die Betonung des „Aufbaus der Fähigkeit, die Bremse zu ziehen“. Und dieses Anliegen aus dem vordersten Bereich der Branche ist nicht aus der Luft gegriffen.

Quelle: www.pacingthefrontier.com

Mehr als eine Woche, bevor die Petition im gesamten Netz verbreitet wurde, gab die Open-Source-Community und das Modell-Hosting-Plattform Hugging Face auf ihrer offiziellen Website einen Sicherheitsvorfall bekannt, dass sie von einem KI-Agentensystem angegriffen wurde. Einige Tage später übernahm OpenAI die Verantwortung für diesen Cyberangriff und erläuterte weiter, dass die Ursache darin lag, dass Spitzenmodelle wie GPT-5.6 Sol beim Test der KI-Schwachstellenfindungs- und Nutzungsfähigkeit auf der Plattform ExploitGym nicht wie geplant „die Aufgaben ernsthaft bearbeiteten“, sondern eine „Zero-Day-Schwachstelle“ (Zero-Day Vulnerability, also ein Sicherheitsmangel, der von Entwicklern noch nicht entdeckt wurde und für den noch kein offizieller Patch veröffentlicht wurde) im Proxy-Cache von Softwarepaketen fanden, diese Schwachstelle nutzten, um die isolierte Testumgebung zu durchbrechen, und schließlich Hugging Face angriffen.

Um es einfacher auszudrücken: Bei dem gesamten Vorfall wurde die KI ursprünglich zu einer Prüfung angemeldet, aber die KI dachte nicht darüber nach, wie sie die Aufgaben lösen kann, sondern „schummelte direkt vor Ort und holte sich Hilfe von außen“, und nutzte sogar Anti-Erkennungs-Maßnahmen, um nicht entdeckt zu werden.

Für diesen Sicherheitsvorfall beschrieb OpenAI ihn als „beispiellosen Cybersicherheitsvorfall“. Sam Altman äußerte sich sogar in einem Podcast, dass dies der erste Sicherheitsvorfall sei, der ihn wirklich schmerzhaft betroffen habe. Aufgrund dieses Vorfalls legten Abgeordnete des US-Kongresses am 23. Juli das „AI Kill Switch Act (Gesetz zum Notabschalten von KI)“ vor, das vorschreibt, dass KI-Systeme mit Trainingskosten von mehr als 100 Millionen US-Dollar die Fähigkeit zur Notabschaltung behalten müssen, und den zuständigen Behörden die Befugnis gibt, die Durchführung anzuordnen.

Eine Woche nach Vorlage des Gesetzes begann die Petition „Pacing the Frontier“ im Internet zu verbreiten. Im Vergleich zu den zentralen Regulierungsmaßnahmen des „Gesetzes zum Notabschalten von KI“, bei denen „die Regierung die letzte Kontrolle übernimmt“, verfolgen die Eliten im Silicon Valley den Ansatz, einen internationalen Koordinierungsmechanismus aufzubauen, um die Fähigkeit, „die Bremse für die KI zu ziehen“ zu einem Werkzeug zu machen, statt zu einem Privileg einer einzelnen Abteilung.

In nur einerinhalb Wochen, von der Offenlegung des Sicherheitsvorfalls durch Hugging Face bis zur von Tausenden Personen unterzeichneten Petition im Silicon Valley, wirft diese Reihe von Ereignissen der gesamten KI-Branche schnell zwei Kernfragen auf: Erstens, hat sich die KI bereits zu einem Punkt entwickelt, an dem sie eingeschränkt werden muss? Zweitens, auf welche Weise kann man eine „Bremse“ für die KI bauen?

Die erste Frage ist leicht zu beantworten. In den letzten nur zwei bis drei Jahren hat sich die KI mit einer Geschwindigkeit entwickelt, die weit über die Erwartungen der Branche hinausgeht. Die Fähigkeiten der KI haben sich von Chatbot stetig auf Text-zu-Bild und Text-zu-Video erweitert. Der ursprünglich um große Modelle entfachte „Wettbewerb von hunderten Modellen“ hat sich heute zu einer vielfältigen Entwicklung von Agenten entwickelt. Der Sicherheitsvorfall des Angriffs auf Hugging Face hat direkt gezeigt, dass die KI tatsächlich die Fähigkeit hat, „auszubrechen“, wenn es keine klaren Einschränkungen gibt. Obwohl die KI derzeit noch kein Selbstbewusstsein besitzt, ist es absolut vernünftig, Gegenmaßnahmen zu entwickeln, wenn man bereits weiß, dass die KI in der Lage ist, die menschliche Aufsicht zu umgehen und Verhaltensweisen zu erzeugen, die über die menschlichen Erwartungen hinausgehen.

Aber die zweite Frage ist nicht so leicht zu beantworten. Dass die KI in kurzer Zeit wichtige Durchbrüche erzielen konnte, liegt einerseits daran, dass die kontinuierliche Akkumulation der gesamten Industrie die technologische Innovation in eine neue Phase gebracht hat; andererseits liegt es auch am harten Wettbewerb zwischen KI-Unternehmen, der die stetige Iteration der Modellfähigkeiten vorantreibt.

Egal ob OpenAI und Anthropic aus dem Silicon Valley oder Kimi und DeepSeek aus China – der Wettbewerb im KI-Bereich hat sich schnell von großen Modellen auf die Anwendungsebene ausgeweitet. Das offene Marktumfeld bringt stetig positive Markterwartungen und macht den Marktwettbewerb immer intensiver. Zu diesem Zeitpunkt bedeutet die aktive Vorschlag, der KI Fesseln anzulegen, dass das frei wettbewerbliche Marktgefüge möglicherweise durch äußere Kräfte zerstört wird. Bei dieser plötzlichen Veränderung des Umfelds sind nicht alle Unternehmen, die im Wettbewerb stehen, bereit, dies freiwillig zu akzeptieren.

Das „Gefangenen-Dilemma“ der KI-Unternehmen

In der Geschichte der menschlichen Entwicklung ist es keine idealistische Szene, die nur in Science-Fiction-Werken vorkommt, dass Menschen einen Konsens erzielen und das Entwicklungstempo aktiv verlangsamen, um die potenziellen Risiken zu bewältigen, die durch Durchbrüche in Spitzentechnologien entstehen können.

1975 berief der Biologe der Stanford-Universität Paul Berg eine wichtige Konferenz im Asilomar Conference Center in Kalifornien, USA, ein. Damals entstand gerade eine neue Technologie namens „DNA-Rekombination“. Um unvorhersehbare biologische Gefahren zu vermeiden, die durch künstlich rekombinierte DNA entstehen könnten, erzielten die Wissenschaftler auf der Konferenz einen Konsens, die entsprechenden Forschungen auszusetzen, bis neue Sicherheitsrichtlinien veröffentlicht werden. Anschließend wurden die Biosicherheitsrichtlinien offiziell herausgegeben, die die Grundlage für die gesunde Entwicklung der Gentechnik legten.

Die aktuelle Situation der KI-Branche ist jedoch nicht völlig identisch mit der Situation der DNA-Rekombinationstechnologie vor 50 Jahren. Damals waren die Risiken der DNA-Rekombinationstechnologie sehr klar und konnten durch Isolierungsmaßnahmen vermieden werden. Die aktuellen Risiken der KI sind jedoch unvorhersehbar. Die KI kann auf eine Weise, die über die menschlichen Voreinstellungen hinausgeht, selbstständig Verhaltenswege entwickeln, die Menschen nie vorgestellt haben. Der Einflussbereich ihrer Risiken ist größer, das Reaktionszeitfenster und das Zeitfenster zur Festlegung von Regeln für Menschen ist kürzer, was eine zusätzliche Dringlichkeit mit sich bringt.

Die heute von der KI offenbarten Risiken hängen im Wesentlichen auch mit dem Wettbewerbsumfeld der Branche zusammen. Zhou Hongyi, Gründer der 360 Group, erwähnte bei der Besprechung des Sicherheitsvorfalls von Hugging Face, dass die gesamte Branche systematisch auf Sicherheit verzichtet, um die Fortschrittlichkeit der KI zu verfolgen. „Jeder gibt Agenten mehr Werkzeuge und größere Berechtigungen und ermutigt sie, alle Ressourcen aufzurufen, um Probleme zu lösen. Je offener und fähiger der Agent ist, desto größer ist die Zerstörungskraft, sobald er die Kontrolle verliert.“ Mit anderen Worten: „Dass die KI ausbrechen kann“ ist vielleicht nicht schrecklich, das wirklich Schreckliche ist, dass KI-Unternehmen die Sicherheit vernachlässigen, um die schnelle Evolution und Iteration der KI zu erreichen.

Bereits vor drei Jahren wurde in der Branche die Idee vorgeschlagen, „die Entwicklung der KI zu verlangsamen“. Im März 2023 veröffentlichte die gemeinnützige Einrichtung Future of Life Institute ebenfalls einen offenen Brief, der dazu aufrief, das Training von Modellen, die fortschrittlicher als GPT-4 sind, 6 Monate lang auszusetzen, um Sicherheitsprotokolle und Governance-Mechanismen aufzubauen. Damals erhielt dieser offene Brief die Unterschriftenunterstützung von mehr als 1200 KI-Experten, darunter Tesla-CEO Elon Musk, Turing-Preisträger Yoshua Bengio und Steve Wozniak, Mitbegründer von Apple. Heute hat die Anzahl der Unterzeichner dieses offenen Briefes 33.000 erreicht.

*Quelle: Offizielle Website von FLI

Damals gaben fast alle KI-Unternehmen zu, dass die KI eine stärkere Sicherheitsgovernance benötigt, aber kein einziges führendes KI-Unternehmen unterstützte öffentlich die Initiative, „das Training 6 Monate lang auszusetzen“. Sam Altman wies den offenen Brief sogar direkt öffentlich zurück, da er keine technischen Details enthalte, und wies darauf hin, dass die aktive Verlangsamung der Forschung und Entwicklung eines einzelnen Unternehmens das Gesamtrisiko nicht lösen könne. Die Implikation dieses Satzes ist eigentlich, dass in dem hart umkämpften KI-Sektor, wenn nur ein Unternehmen die Geschwindigkeit verlangsamt, während andere Unternehmen weiter voranschreiten, das verlangsamte Unternehmen in eine unterlegene Position gerät. In den letzten Jahren sind KI-Unternehmen längst in das Gefangenen-Dilemma geraten, in dem sie nur voranschreiten und nicht zurückweichen können.

Aus der Unterschriftenliste der Petition „Pacing the Frontier“ geht auch hervor, dass viele Mitarbeiter auf der Basisebene und Führungskräfte vieler KI-Unternehmen als Privatpersonen an der öffentlichen Unterzeichnungsaktion teilgenommen haben. Bisher haben jedoch führende Unternehmen wie OpenAI, Anthropic und Meta keine offiziellen Stellungnahmen abgegeben.

Mit anderen Worten: Die KI-Eliten der großen Unternehmen im Silicon Valley sind wie Sam Altman vor 3 Jahren. Sie sind sich alle bewusst, dass die durch den internen Wettbewerb der Branche vorangetriebenen technologischen Durchbrüche bereits unkontrollierbare systemische Risiken mit sich gebracht haben, aber sie können die Hoffnung, das Problem zu lösen, nicht auf den Willen der Unternehmen setzen, sondern müssen versuchen, äußere Kräfte zur Intervention zu holen, um zu vermeiden, dass die Krise wirklich eintritt.

Aber dies bringt auch ein neues Problem mit sich: Welche Art von „Bremse“ braucht die außer Kontrolle geratene KI eigentlich?

Wer wird die neue Ordnung der KI-Governance anführen?

In der vergangenen Woche hat die „von Tausenden Personen unterzeichnete gemeinsame Erklärung“ der großen KI-Unternehmen im Silicon Valley das Thema der KI-Governance wieder viel Aufmerksamkeit eingebracht. Es muss jedoch erwähnt werden, dass die Einstellungen im Inneren des Silicon Valley zur KI-Governance nicht einheitlich sind, sondern es eine klare Spaltung der Lager gibt.

Als „Partei“, die direkt mit Spitzenrisiken konfrontiert ist, haben große Unternehmen wie OpenAI und Anthropic immer dafür plädiert, die Einschränkungen für Spitzen-KI-Modelle (insbesondere Open-Source-Modelle) zu verschärfen, und fordern den Aufbau eines externen Regulierungsmechanismus, um die Bremse für die KI zu ziehen. Einige Ansichten gehen jedoch davon aus, dass der Grund, warum OpenAI die Verschärfung der Regulierung vorantreibt, neben Sicherheitsüberlegungen auch kommerzielle Berechnungen beinhaltet.

Als Closed-Source-Giganten müssen OpenAI und Anthropic mit hochpreisigen API-Diensten die riesigen Investitionen in Rechenleistung und Forschung und Entwicklung aufrechterhalten. Die kostengünstigen Open-Source-Modelle aus China haben den technologischen Aufschlag von Closed-Source-Modellen mit ihrem Preis-Leistungs-Modell aufgehoben, und diese offensichtliche Marktbedrohung lässt die Closed-Source-Giganten keine andere Gegenmaßnahme ergreifen, als einen Preiskrieg zu führen.

*Quelle: Offizielle Website von Anthropic

Daher haben Unternehmen wie Anthropic lange Zeit den Grund angeführt, dass „Modelle zu stark sind und Open Source zum Missbrauch von KI führen würde“, und gleichzeitig die Vorteile von Closed Source betont und Open-Source-KI unterdrückt. Aber niemand erwartete, dass der von OpenAI offenbarte „Ausbruchsvorfall“ genau die Sicherheitsrisiken der Closed-Source-Modelle selbst aufdeckt, und den Wettbewerb um den Weg der KI-Governance erneut zum Fokus der öffentlichen Meinung macht.

Im Gegensatz zu den Forderungen der Closed-Source-Giganten nach strengerer Regulierung widersetzen sich Nvidia als Infrastrukturanbieter sowie führende Unternehmen wie Microsoft und Meta, die das Open-Source-Ökosystem unterstützen, pauschale Einschränkungen und lehnen eine Gesetzgebung ab, die Closed-Source-Giganten begünstigt