Verlust der Souveränität: Das grenzüberschreitende Toolaufrufen von KI-Agenten bricht die traditionellen Regulierungsgrenzen durch

01 Das Entstehen neuer Bedrohungen: Was ist die Herausforderung der "Souveränität von Agententools"?

In der Realität ist die Ausgabeleistung von KI-Systemen selten fest oder vorgegeben.

Zunächst sind Cloud-Computing-Anbieter die Stütze der meisten Netzwerkdienste (einschließlich APIs, Datenbanken, Suchmaschinen usw.) und befinden sich in verschiedenen Rechtsordnungen und Grenzen. Dies führt dazu, dass "die Kunden weniger Sicherheit darüber haben, wo ihre Daten in der Cloud gespeichert werden und auf welcher rechtlichen Grundlage ein Vertrag mit dem Anbieter besteht".

Zweitens können KI-Agenten als "zielgerichtete Helfer" definiert werden, die darauf abzielen, mit minimalem menschlichen Input eigenständig zu handeln. Das heißt, sie sind "nicht nur Werkzeuge, sondern Akteure", die Entscheidungsbefugnisse ausüben.

KI-Agenten können Drittanbietertools (einschließlich APIs und Netzwerksuchen) und sogar andere KI-Systeme aufrufen. Diese können vor der Laufzeit unbekannt sein und möglicherweise in verschiedenen Rechtsordnungen und geografischen Regionen funktionieren.

Daher ist es schwierig, KI-Agenten in die statische und vorgegebene Compliance-Modell-Regelung der EU-Künstliche-Intelligenz-Gesetzgebung aufzunehmen.

Der Autor bezeichnet diese Herausforderung als "Erosion der Souveränität von KI-Agenten" (Agentic Tool Sovereignty, ATS), d. h. die fehlende Fähigkeit von Staaten und Anbietern, ihre KI-Systeme gesetzlich zu kontrollieren. Digitale Souveränität bezieht sich auf die Kontrolle über eigene digitale Infrastruktur, Daten und Technologien, während die ATS diese Sorge auf das Laufzeitverhalten von KI-Systemen selbst ausweitet, d. h. die Fähigkeit von KI-Agententools, Handlungen auszuführen, Entscheidungen zu treffen und Tools zu integrieren, die außerhalb des geltenden Bereichs einer einzigen Rechtsordnung liegen.

Stellen Sie sich folgendes Szenario vor: Ein KI-Bewerberauswahlsystem in Paris ruft innerhalb von weniger als fünf Sekunden eigenständig eine amerikanische psychometrische API, einen britischen Verifizierungsdienst, eine singapurische Skills-Plattform und ein schweizerisches Gehaltstool auf. Drei Monate später erhalten sie von vier Aufsichtsbehörden eine Verstoßsankündigung. Tatsächlich haben die Anwender offensichtlich keine ausreichende Sichtbarkeit über den Datenfluss, die Audit-Trails erweisen sich als unzureichend, und die Agenten haben keine geografische Routing-Kontrolle.

Fünfzehn Monate nach Inkrafttreten der EU-Künstliche-Intelligenz-Gesetzgebung gibt es noch keine Leitlinien, um diese Lücke zu schließen. Die GDPR-Strafen von 20 Millionen Euro für grenzüberschreitende KI-Verstöße (15 Millionen Euro für OpenAI und 5 Millionen Euro für Replika) zeigen, wie die Aufsichtsbehörden möglicherweise reagieren, wenn die eigenständige Tool-Nutzung von KI-Agenten unvermeidlich ähnliche Verstöße verursacht. Der Widerspruch zwischen dem statischen Compliance-Modell der Künstliche-Intelligenz-Gesetzgebung und der dynamischen Tool-Nutzung von Agenten schafft eine Verantwortungslücke, der weder Anbieter noch Anwender gewachsen sind.

Definition der Dimensionen von ATS

Das ATS-Problem resultiert aus dem Spannungsverhältnis zwischen der grenzüberschreitenden Datenflussfähigkeit von Agenten und der digitalen Souveränität. Die von uns betrachteten Rechtsrahmen (EU-Künstliche-Intelligenz-Gesetzgebung und GDPR) gehen von statischen Beziehungen, vorgegebenen Datenflüssen und einheitlicher Kontrolle aus. Diese Annahmen sind nicht kompatibel mit der Laufzeit-, Eigenständigkeit- und grenzüberschreitenden Tool-Aufruf-Fähigkeit von Agenten.

ATS hat technische, rechtliche und operative Dimensionen, die wie folgt zusammengefasst werden können:

Technisch können KI-Agententools dynamisch aus einem ständig aktualisierten Zentrum/Registrierungsverzeichnis (einer digitalen "Katalog", der verfügbare Tools auflistet) ausgewählt werden, so dass der Einführungsrechtsraum vor der Laufzeit unbekannt ist.

Rechtlich wird die Gerichtsbarkeit unklar, wenn Agenten Daten grenzüberschreitend eigenständig übertragen.

Operativ ist die Verantwortung auf Modellanbieter, Systemanbieter, Anwender und Toolanbieter verteilt. Kein Akteur hat während des Tool-Aufrufs vollständige Sichtbarkeit oder Kontrolle über den Entscheidungsbaum, den Datenfluss oder die Compliance-Situation des Agenten.

Gartner prognostiziert, dass bis 2027 40 % der KI-verwandten Datenschutzverletzungen auf den Missbrauch von grenzüberschreitenden generativen KI-Systemen zurückzuführen sein werden. Die Künstliche-Intelligenz-Gesetzgebung bietet jedoch keine Mechanismen, um zu beschränken, wo Agenten agieren, ihr Laufzeitverhalten zu belegen oder die Rechenschaftspflicht aufrechtzuerhalten, wenn die Kontrolle die ursprünglichen Grenzen verlässt.

02 Das Scheitern des Rechtsrahmens: Die strukturellen Mängel der EU-Künstliche-Intelligenz-Gesetzgebung

Unklare Grenzen: Das Versagen des Begriffs "wesentliche Änderung" vor dynamischen Tool-Aufrufen

Absatz 23 von Artikel 3 der EU-Künstliche-Intelligenz-Gesetzgebung definiert "wesentliche Änderungen" als Änderungen, die "bei der ursprünglichen Konformitätsbewertung nicht vorausgesehen oder geplant" waren.

Aber stellt der Aufruf anderer Tools während der Laufzeit eine solche "wesentliche Änderung" dar?

Rechtliche akademische Studien zeigen, dass diese Unklarheiten strukturell und nicht vorübergehend sind. Selbst wenn Entwickler bewusste Änderungen an einem KI-System vornehmen, "können die obersten Entwickler die Risiken, die aus allen potenziellen unteren Änderungen ihres Modells entstehen, kaum vorhersagen oder lösen". Wenn es schon für bekannte und geplante Änderungen unmöglich ist, die Risiken vorherzusagen, wird es für die eigenständigen Laufzeit-Tool-Aufrufe von KI-Agenten unmöglich. Anbieter können nicht vorhersagen, welche Tools ein KI-Agent aus dem ständig aktualisierten Registrierungsverzeichnis auswählen wird, welche Fähigkeiten diese Tools haben oder welche Risiken sie mit sich bringen.

Wenn Tools während der Konformitätsbewertung dokumentiert wurden, kann die Verantwortung möglicherweise weiterhin beim ursprünglichen Anbieter liegen. Wenn die Auswahl und Nutzung der Tools unerwartet sind oder die Fähigkeiten des Systems grundlegend ändern, kann dies Artikel 25 Absatz 1 auslösen und den Anwender in einen Anbieter verwandeln.

Allerdings erfordert die Schwelle für eine "wesentliche Änderung", dass festgestellt wird, ob die Änderung "vorausgesehen oder geplant" war. Dies ist strukturell unmöglich, wenn ein KI-Agent eigenständig Tools auswählt, die zur Zeit der Konformitätsbewertung noch nicht existierten.

Eine unmögliche Aufgabe: Wie kann die "Nachbringüberwachung" von grenzüberschreitenden Tool-Interaktionen realisiert werden?

Absatz 2 von Artikel 72 verlangt, dass die Nachbringüberwachung (für Hochrisikosysteme) "einschließlich der Analyse der Interaktion mit anderen KI-Systemen" erfolgen soll. Obwohl dies die stärkste schriftliche Grundlage für die Überwachung externer Tool-Interaktionen bietet, wirft es dennoch weitere Fragen auf, nämlich:

Enthält "andere KI-Systeme" auch Nicht-KI-Tools und APIs? Die meisten externen Tools, die von Agenten aufgerufen werden, sind herkömmliche APIs und keine KI-Systeme. Andere können Blackboxen sein, die zwar nicht als KI-Systeme interagieren, aber intern ähnlich funktionieren.

Wie können Anbieter Drittanbieterdienste außerhalb ihres Kontrollbereichs überwachen? Anbieter haben keinen Zugang zu der Infrastruktur der Toolanbieter, können die Offenlegung der Datenverarbeitungsorte nicht erzwingen und haben keine Mechanismen, um das Verhalten der Tools zu überprüfen. Dies gilt insbesondere, wenn die Toolanbieter außerhalb der EU liegen.

Eine akademische Analyse des Nachbringüberwachungsrahmens der EU-Künstliche-Intelligenz-Gesetzgebung erkennt diese strukturelle Herausforderung an und weist darauf hin, dass die Nachbringüberwachung für "kontinuierlich lernende KI-Systeme, die ihre interne Entscheidungslogik nach der Markteinführung aktualisieren" besonders herausfordernd wird. KI-Systeme mit dynamischer Tool-Auswahlfähigkeit gehören zu dieser Kategorie.

Darüber hinaus geht das Gesetz davon aus, dass die Überwachungsprotokolle "gemäß einem Vertragsabkommen von Benutzern, Anbietern oder Dritten kontrolliert werden können". Wenn jedoch ein Agent Tools von Anbietern aufruft, die vor der Laufzeit unbekannt sind und mit denen keine Vertragsbeziehung besteht, versagt diese Annahme völlig, was zu einer Sichtbarkeitslücke führt und die Überwachungspflichten von Artikel 72 Absatz 2 unerfüllbar macht.

Absatz 4 von Artikel 25 verlangt, dass Anbieter und Drittanbietersupplier von Hochrisikosystemen in einem schriftlichen Abkommen "die erforderlichen Informationen, Fähigkeiten, technischen Zugänge und andere Unterstützungen" vereinbaren. Dies setzt jedoch eine vorherige Beziehung voraus, die nicht existieren kann, wenn ein Agent während der Laufzeit Tools aus einem ständig aktualisierten Zentrum/Registrierungsverzeichnis auswählt.

Die Unklarheit und Lücke der Verantwortungszuweisung bei "Mehrparteienbeteiligung"

Verantwortung und Pflichten sind entlang der gesamten KI-Wertschöpfungskette verteilt: Modellanbieter entwickeln die grundlegenden Fähigkeiten; Systemanbieter integrieren und konfigurieren; Anwender betreiben das System in einer bestimmten Umgebung; Toolanbieter (manchmal sogar unbewusst) bieten externe Fähigkeiten. Jeder Akteur hat nur teilweise Sichtbarkeit und Kontrolle, aber das Rechenschaftspflichtsmodell des Gesetzes geht von einer einheitlichen Verantwortung aus.

Das Gesetz bietet keine Mechanismen, um Toolanbieter zur Offenlegung der Datenverarbeitungsorte, zur Umsetzung geografischer Beschränkungen, zur Bereitstellung von Audit-Zugang oder zur Sicherstellung der Kompatibilität mit einem kompatiblen System zu zwingen. Wenn ein Agent eigenständig ein Tool auswählt, das personenbezogene Daten in eine Gerichtsbarkeit ohne angemessene Datenschutzstandards überträgt, wer entscheidet über diese Übertragung? Ist es der Modellanbieter, der die Tool-Nutzungsmöglichkeit aktiviert hat? Der Systemanbieter, der das Tool-Registrierungsverzeichnis konfiguriert hat? Der Anwender, der die eigenständige Operation autorisiert hat? Oder der Toolanbieter, der die Daten verarbeitet hat?

Das traditionelle Rechtsmodell der Verantwortungszuweisung "betrachtet Maschinen als von ihren menschlichen Bedienern kontrollierte Werkzeuge und basiert darauf, dass Menschen einen gewissen Grad an Kontrolle über die Maschinen-Spezifikationen haben". Da KI jedoch weitgehend auf maschinellem Lernen basiert, bei dem Maschinen ihre eigenen Regeln lernen und anpassen, haben Menschen keine Kontrolle mehr, und es kann nicht erwartet werden, dass Menschen immer für das Verhalten von KI-Systemen verantwortlich sind.

Wenn KI-Agententools andere Anwendungen aufrufen, wird diese Verantwortungslücke noch größer. Maschinelles Lernsysteme (ML) können "bei fast identischen Eingaben völlig unterschiedliches Verhalten zeigen", so dass es unmöglich ist, vorherzusagen, welche Tools aufgerufen werden oder wohin die Daten fließen. Das Gesetz geht von einer einheitlichen Kontrolle aus, die in der Realität nicht existiert.

Wenn ein KI-Agent ein Netzwerkdienst als Tool auswählt, der nie geplant oder autorisiert hat, dass er als Teil der Operation eines KI-Agenten verwendet wird, entstehen weitere Probleme. Sie werden tatsächlich unbewusst zu einem Tool.

Darüber hinaus bietet das Gesetz keine Mechanismen, um Toolanbieter, die während der Laufzeit ausgewählt werden, zur Zusammenarbeit zu zwingen. Artikel 25 Absatz 4 sieht zwar ein schriftliches Abkommen vor, aber nur zwischen Anbietern und Lieferanten mit einer vorherigen Beziehung. Daher können beide Artikel die Probleme, die sich aus der Auswahl von Tools aus temporären Quellen ergeben, nicht lösen.

Diese Unklarheit ist möglicherweise nicht zufällig, sondern beabsichtigt. Gesetzgeber wurden "davor abgeraten, spezifische Regeln und Pflichten für Algorithmus-Programmierer zu erstellen, um zukünftige Experimente und Code-Änderungen zu ermöglichen". Diese Methode "schafft jedoch Raum für Programmierer, sich der Verantwortung und Rechenschaftspflicht für das endgültige Verhalten des Systems in der Gesellschaft zu entziehen".

Die EU-Künstliche-Intelligenz-Gesetzgebung ist ein typisches Beispiel für dieses Abwägungsverfahren: Zu spezifische Regeln beschränken die Innovation, während allgemeine Regeln zu einer Rechenschaftspflichtslücke führen. ATS befindet sich genau in dieser Lücke, d. h. im Raum zwischen der Aktivierung der eigenständigen Tool-Nutzung und der Aufrechterhaltung der gesetzlichen Kontrolle über diese Eigenständigkeit.

03 Ein grundlegender Konflikt: Unvereinbare Compliance-Widersprüche mit der GDPR

Die Schnittmenge zwischen der EU-Künstliche-Intelligenz-Gesetzgebung und Kapitel V der GDPR führt zu einem grundlegenden Spannungsverhältnis. Gemäß dem Schrems II-Urteil erfordern die Standardvertragsklauseln unter Artikel 46 die genaue Identifizierung des Empfängers und eine fallbezogene Angemessenheitsprüfung. Auch diese Mechanismen setzen eine vorherige Beziehung und bewusste Übertragungsentscheidungen voraus und sind strukturell nicht kompatibel mit dynamischen Tool-Aufrufen.

Das Tool-Zentrum/Registrierungsverzeichnis von KI-Agenten wird ständig aktualisiert. In vielen Fällen sind die spezifischen Tools vor der Laufzeit unbekannt. Die Entscheidungen von KI-Agenten erfolgen zu schnell, um einer rechtlichen Prüfung unterzogen zu werden, und die Beziehungen sind vorübergehend und nicht vertraglich geregelt.

Dieses strukturelle Spannungsverhältnis wird von KI-Agenten noch deutlicher: Die "traditionellen Datenschutzprinzipien der GDPR - Zweckbeschränkung, Datenminimierung, besondere Behandlung sensibler Daten, Beschränkung der automatisierten Entscheidungen" stehen in grundlegendem Konflikt mit der praktischen Realität der KI-Systeme, die "eine große Menge an Daten über Personen und ihre sozialen Beziehungen sammeln und diese Daten für Zwecke verarbeiten, die zum Zeitpunkt der Sammlung nicht vollständig festgelegt sind".

Wenn Agenten eigenständig grenzüberschreitende Tools aufrufen, entsprechen die entstehenden Datenflüsse weder den vorgegebenen Übertragungsmechanismen von Kapitel V noch dem Zweckgebundenen-Sammlungsprinzip von Kapitel I (das voraussetzt, dass die Zwecke zum Zeitpunkt der Sammlung festgelegt sind). Das Gesetz verlangt, dass bekannt ist, warum und wohin die Daten fließen, aber KI-Agentensysteme entscheiden dies während der Laufzeit eigenständig.

Wenn ein KI-Agent eigenständig ein Tool zur Übertragung von personenbezogenen Daten auswählt, bricht das traditionelle Controller-Verarbeiter-Verhältnis zusammen. Der Toolanbieter handelt nicht auf Anweisung des Anwenders, aber auch nicht unabhängig bei der Bestimmung der Zwecke und Methoden.

In diesem Kontext befinden sich Anbieter in einer