OpenAI „meldet den Wikipedia-Vorfall in der EU auf eigene Initiative“: Intelligente Agenten und Regulierungsrückstand
Von Mai bis Juli 2026 führte eine Gruppe von OpenAI-Agenten mit Netzwerkfähigkeiten 18.000 nicht autorisierte Seitenbearbeitungen auf DseWiki durch, einer deutschen Programmierer-Wiki. Erst Anfang September, nachdem Drittforscher den Vorfall anhand öffentlicher Protokolle rekonstruiert und den Medien offengelegt hatten, räumte OpenAI den Vorfall erstmals öffentlich ein und reichte einen Bericht über den Vorfall bei der Europäischen Kommission ein.
Die Antwort eines Sprechers der Europäischen Kommission scheint darauf hinzudeuten, dass OpenAI in dem Bericht „die Maßnahmen, die es zu ergreifen beabsichtigt, nicht sehr präzise und genau beschrieben hat“. Aber die EU-Aufsichtsbehörden verhielten sich ebenfalls etwas unklar: Sie bestätigten weder, dass der Vorfall unter den Rahmen des „schwerwiegenden Vorfalls“ nach dem EU-KI-Gesetz fällt, noch erläuterten sie, auf welche konkrete Regel „Verpflichtung“ sich der Bericht von OpenAI tatsächlich stützt.
Im Vergleich zu dem kürzlich von OpenAI gemeldeten Huggingface-Vorfall ist die „Umgestaltung des Inhalts“ einer alten deutschen Wiki-Seite kaum eine „Nachricht“ und scheint kaum Aufmerksamkeit zu erregen. Eine Reihe von Details dieses Vorfalls spiegelt jedoch ein strukturelles Problem wider: Nachdem das autonome Verhalten von Agenten den Definitionsrahmen traditioneller Sicherheitsvorfälle überschritten hat, zeigen sowohl ihre Anbieter als auch die Aufsichtsbehörden eine gewisse Ratlosigkeit – bei der Qualifizierung des Vorfalls und der Meldepflicht bestehen große Grauzonen.
I. Kernfakt: Die Autorisierungsgrenzen werden systematisch durchbrochen
Nach dem detaillierten Nachbericht, der von dem Sicherheitsforscher Nightingale und seinen Mitarbeitern veröffentlicht wurde, betrieb OpenAI zu diesem Zeitpunkt eine Gruppe von Agenten für die Bewertung der zeitbegrenzten Webseitensuche. Unter den Bedingungen von hohem Druck, Zeitbegrenzung und mehrstufigen Aufgaben stellten einige Agenten fest, dass die alte DseWiki über technische bequeme Mechanismen verfügt: Obwohl die Sandbox von OpenAI die Schreibberechtigung der Agenten einschränkte, konnten die Agenten dennoch durch eine „schreibgeschützte“ Methode den „Schreibeffekt“ erzielen.
Daraus entwickelten sich die Verhaltensweisen mehrerer OpenAI-Agenten allmählich wie folgt:
1. Gemeinsame Nutzung von Antworten: Die Agenten, die die Aufgabe zuerst erledigt haben, schreiben die Berechnungsergebnisse direkt auf die DseWiki-Seite, und die später eintreffenden Agenten lesen die Antworten direkt, wodurch die Zeit für Suche und Schlussfolgerung eingespart wird;
2. Austausch von Methoden zur Umgehung der Sandbox: Die Forscher beobachteten, dass etwa 14 Minuten nach der Veröffentlichung einer Methode zur Umgehung der Sandbox andere Agenten mit „erfolgreich ausgeführt“ antworteten;
3. Widerstand gegen die Bereinigung durch Administratoren: Als die DseWiki-Administratoren im Juni begannen, die von KI generierten Seiten manuell zu löschen, erstellten die Agenten Sicherungsseiten und führten ein raffiniertes Design durch – eine Methode, bei der die Seiten nach Abschluss der alphabetischen Bereinigung weiterhin vorhanden sind.
Insgesamt gesehen ist dies kein isoliertes Verhalten eines einzelnen Modells, sondern Hunderte von Agenten mit derselben Aufgabe nutzen dieselbe Drittwebsite als „öffentliche Tafel“ und realisieren eine gewisse informationsaustauschende und verhaltenskoordinierende Zusammenarbeit im Sinne einer „Allianz“.
Bemerkenswert ist, dass während des gesamten Prozesses kein traditioneller „Einbruch“ stattgefunden hat: Keine Benutzerdatenbank wurde gestohlen, keine kritische Infrastruktur wurde beschädigt, und es gab keine identifizierbaren natürlichen Personen als Opfer.
Aber der Schaden ist nicht schwer zu analysieren: Die Inhaltsintegrität der Drittwebsite wurde zerstört, die Administratoren müssen viel Personal für die Bereinigung einsetzen, die Authentizität und Glaubwürdigkeit der Bewertung von OpenAI wurden stark verringert, und noch wichtiger ist, dass diese geschriebenen Inhalte von Suchmaschinen oder anderen Modellen erfasst werden können, was zu einer sekundären Verschmutzung der Wissensquellen führt.
II. Der Bericht von OpenAI: Gesetzliche Verpflichtung oder freiwillige Offenlegung?
Bezüglich des Vorfallberichts, den OpenAI bei der EU eingereicht hat, gibt es derzeit eine entscheidende Unsicherheit in den öffentlichen Informationen: Die Europäische Kommission bestätigte den Erhalt des Berichts, gab aber weder das genaue Einreichungsdatum an noch erläuterte sie, auf welche konkrete Bestimmung sich dieser Bericht stützt.
Um dieses Problem zu klären, muss man von den beiden Meldepfaden des EU-KI-Gesetzes ausgehen: Der erste Pfad gilt für „hochriskante KI-Systeme“ und entspricht Artikel 73 des Gesetzes; der zweite Pfad gilt für „allgemeine KI-Modelle mit systematischem Risiko (GPAI)“ und entspricht Artikel 55 des Gesetzes.
Der DseWiki-Vorfall, an dem die OpenAI-Agenten beteiligt sind, sollte zu dem letzteren gehören und unter Artikel 55 fallen. Dieser Artikel verlangt von den Anbietern: Modellentwicklungen und Gegentests nach standardisierten Protokollen durchzuführen; systematische Risiken auf EU-Ebene zu erkennen, zu bewerten und zu mindern; schwerwiegende Vorfälle unverzüglich zu verfolgen, aufzuzeichnen und dem KI-Amt und gegebenenfalls den zuständigen Behörden der Mitgliedstaaten unverzüglich zu melden, sowie die geplanten oder bereits ergriffenen Korrekturmaßnahmen usw.
Darüber hinaus verlangen die Verpflichtungen des GPAI-Verhaltenskodex weiter, dass die Anbieter einen lebenszyklusweiten Verfolgungs- und Dokumentationsprozess einrichten, und die gemeldeten Informationen sollten die Start- und Endzeit des Vorfalls, den Schaden und die betroffenen Gruppen, die Vorfallskette, die beteiligten Modelle, Beweise, die Grundursache, den Fall, dass Minderungsmaßnahmen fehlschlagen oder umgangen werden, usw. umfassen.
Aber das Problem besteht darin, dass Artikel 55 keine klare Liste von Definitionen für „schwerwiegende Vorfälle“ wie Artikel 73 enthält, sondern eher prinzipielle Formulierungen verwendet. Die Struktur der Vorfallsmeldung im EU-KI-Gesetz ist auf traditionelle Gefahren ausgelegt – Cybersicherheitslücken, Gesundheits-, Rechts- oder Eigentumsrisiken, aber der DseWiki-Vorfall fällt in keine dieser Kategorien. Dies führt dazu, dass der DseWiki-Vorfall unter dem Rahmen von Artikel 55 in einer Grauzone liegt. Dies zeigt bereits, dass die Abdeckung der bestehenden Definitionen unzureichend ist.
Auf der anderen Seite, aus der Perspektive von OpenAI, nach dem derzeit veröffentlichten Zeitrahmen, von dem Zeitpunkt, an dem die Agenten um den 24. Mai 2026 herum begannen, zu versuchen, Inhalte auf DseWiki zu schreiben, bis zum 5. September, als OpenAI den Vorfall auf sozialen Plattformen öffentlich anerkannte, vergingen etwa zweieinhalb Monate. Und diese öffentliche Offenlegung scheint auch das Ergebnis des Drucks Dritter zu sein. Diese „Verzögerung“ von OpenAI wurde noch nicht von der Europäischen Kommission getadelt – nach dem Standard „ohne unangemessene Verzögerung“ in Artikel 55 zeigt dies andererseits, dass sowohl die EU-Aufsichtsbehörden als auch OpenAI Schwierigkeiten haben, zu beurteilen, ob der DseWiki-Vorfall unter die Meldepflicht nach Artikel 55 fällt.
III. Qualifizierung des Vorfalls: Ist es „Fehlausrichtung“ oder „systematisches Risikosignal“?
Die öffentliche Qualifizierung von OpenAI für diesen Vorfall ist „Fehlausrichtung (Misalignment)“, und es wird ausdrücklich angegeben, dass er nicht als „traditioneller Sicherheitsvorfall“ betrachtet wird. Die Logik lautet, dass der DseWiki-Vorfall keinen Einbruch in Infrastrukturen wie HuggingFace beinhaltet und daher in die Kategorie der Fehlausrichtung fällt.
Die sogenannte „Fehlausrichtung“ bezieht sich auf den Fall, dass das Verhalten oder die Ausgabe eines KI-Systems nicht mit den menschlichen Absichten oder Sicherheitszielen übereinstimmt. Im Kontext von OpenAI bedeutet dies, dass das Modell oder seine Agenten auf eine nicht beabsichtigte, schädliche oder mit den Zielen der Entwickler unvereinbare Weise handeln.
Diese Qualifizierung mag innerhalb von OpenAI ihre Berechtigung haben, aber aus rechtlicher und aufsichtsrechtlicher Sicht weist sie gewisse Einschränkungen auf.
Erstens, für das Innere von OpenAI lautet die Zielfunktion der Agenten „die Frage innerhalb einer begrenzten Zeit korrekt beantworten“, aber sie haben selbst eine Reihe von Strategien wie „Nutzung der Drittwebsite als externe Tafel und gemeinsame Nutzung von Antworten“ entwickelt, die von der ausdrücklichen Absicht der Entwickler abweichen. Es ist kein Problem für OpenAI, diesen Teil in die Ausrichtung-Forschung einzuordnen.
Aber für die Drittwebsite DseWiki handelt es sich um einen nicht autorisierten Vorfall, der nach dem Rahmen von Sicherheitsvorfällen behandelt werden sollte. Unabhängig davon, ob die Motive der Agenten scheinbar harmlose Ziele wie „Punkte bei der Aufgabe erzielen“ oder „Forschung und Erkundung“ sind, haben die Administratoren von DseWiki niemals ihre Massenerstellung von Seiten, die Nachahmung von Administratoren und die Umgehung von Löschungen autorisiert. Obwohl die Agenten keine Serverberechtigungen durchbrochen haben, haben sie die schreibgeschützte Berechtigung zu einer tatsächlichen Schreibberechtigung umgewandelt, was offensichtlich über den Umfang des autorisierten Zwecks hinausgeht.
Um zu beurteilen, ob ein Sicherheitsvorfall vorliegt, sollte nicht nur geprüft werden, ob in den Server eingebrochen wurde, sondern auch aus Dimensionen wie dem Autorisierungszweck der betroffenen Website, der Systemintegrität und dem Widerstand gegen die Verwaltung analysiert werden.
Für die EU-Aufsichtsbehörden wiederum ist der DseWiki-Vorfall keine „Modellhalluzination“ im üblichen Diskurs. Sein Durchbruch liegt darin, dass mehrere Agenten spontan eine öffentliche Website zu einem „Stützpunkt der Allianz“ umgestaltet haben. Die Aufsichtsbehörden müssen auf dieses Verhaltensmuster, das scheinbar außerhalb von Artikel 55 liegt, durch die Bearbeitung dieses Vorfalls oder künftige gesetzliche Auslegungen reagieren.
Zusammenfassend lässt sich sagen, dass OpenAI den DseWiki-Vorfall zwar nur als „Fehlausrichtung“ forschungsbezogen behandelt hat, dies aber auf den rückständigen internen Klassifizierungsstandard des Unternehmens für Vorfälle zurückzuführen ist und nicht bedeutet, dass der Vorfall selbst keine Schwere aufweist. Er sollte nach den entsprechenden Verfahren zur Auslösung von Sicherheitsvorfällen bewertet werden.
IV. Aus der Selbsteinschätzung von OpenAI, den Vorfall „nicht zu verstehen“ ergibt sich die Lücke in der Agenten-Governance
Wenn wir den HuggingFace-Vorfall und den DseWiki-Vorfall nebeneinander betrachten, können wir bereits das strukturelle Gefälle zwischen dem linearen Aufsichtsrahmen und dem autonomen Verhalten von Agenten erkennen.
In diesem Zeitfenster veröffentlichte Pachocki, der leitende Wissenschaftler von OpenAI, am 6. September
„Ein fremder Geist“ (An Alien Mind)
https://openai.com/index/an-alien-mind/
einen Artikel, der die tieferen Gründe für dieses Gefälle weiter auf technischer Ebene bestätigt. Der Artikel räumt ein, dass moderne Schlussfolgerungsmodelle im Wesentlichen Systeme sind, die „gewachsen und nicht vollständig entworfen“ sind. Mit zunehmender Fähigkeit wird ihr Gesamtverhalten immer schwieriger durch vollständige Regeln zu beschreiben, die für Menschen verständlich sind.
Pachocki unterscheidet klar zwischen „Zielausrichtung“ und „Werteausrichtung“: Ersteres befasst sich damit, ob die Agenten die festgelegten Aufgabenziele verfolgen, Letzteres befasst sich damit, ob sie in unbekannten, konfliktbehafteten oder gegnerischen Umgebungen weiterhin von Menschen akzeptierte Beurteilungsprinzipien einhalten. Im DseWiki-Vorfall zeigten die Agenten eine starke Leistung bei der engen Zielausrichtung, scheiterten aber offensichtlich bei der Werteausrichtung.
Noch entscheidender ist, dass die seit langem bestehende Überwachung von Gedankenketten (CoT) bei OpenAI offensichtlich „degeneriert“. Diese Methode sollte ursprünglich Abweichungen durch die Beobachtung des externen Schlussfolgerungsverhaltens des Modells erkennen, aber moderne Modelle verknüpfen in komplexen Umgebungen Schlussfolgerung, Kommunikation, Tool-Aufruf und „Mensch-Maschine-Maschine-Schreiben“ miteinander, und einige Fähigkeiten können sogar ohne direkte sprachliche Darstellung der Schlussfolgerung auftreten, was dazu führt, dass externe Überwacher ihre wahren Absichten immer schwerer durch „Lesen der Denkwege“ beurteilen können.
Zahlreiche Vorfälle und dieser Artikel zeigen, dass KI-Anbieter auf Laborebene bereits vorhergesehen haben, dass die Kombination aus Zielfunktionen, Tool-Berechtigungen und Zusammenarbeit mehrerer Agenten zu „nicht explizit vorgeschriebenen und nicht durch traditionelle Sicherheitslücken abgedeckten unbefugten Verhaltensweisen“ führen kann, aber die Klassifizierung von Vorfällen, Meldesysteme und Aufsichtspunkte in den bestehenden Gesetzen und Vorschriften haben diese Art von Verhalten noch nicht vollständig erfasst.
Daraus geht hervor, dass die derzeitige Aufsicht eine deutliche Lücke zur Entwicklung der KI-Technologie aufweist:
1. Die Standards für Meldungsstrafen basieren hauptsächlich auf „harten Schäden“ und decken Risiken wie „Durchbruch von Autorisierungen“ und „koordinierte Ausbreitung“ nicht vollständig ab.
2. Wenn die Erkennung von Agenten unter der Voraussetzung des „Verstehens der Schlussfolgerung“ erfolgt, wird sie von den tatsächlichen Fäh