Fokussieren Sie sich auf die Ethik und Governance von "invasiver KI" und führen Sie eine interdisziplinäre Diskussion durch, um gemeinsam Lösungen für die Sicherheit von KI zu finden.

Im Jahr 2025 ist der "AI-Agent" zweifellos die heißeste und zugleich beunruhigendste Technologiewelle. Er verspricht, die Produktivität zu erhöhen, kann aber auch unbeabsichtigt zu einem schwer zu kontrollierenden "digitalen Geist" werden, der im digitalen Raum für uns "alles übernimmt".

Der Wert dieser Tagung liegt darin, dass sie erstmals Juristen und Technologieexperten zusammenbringt. Anstatt sich nur oberflächlich mit der Ethik von KI zu befassen, wird hier der konkrete technische Aspekt der "barrierefreien Berechtigungen" genau untersucht, um den systemischen Herausforderungen von AI-Agents in Bezug auf Berechtigungen, Daten und Verantwortung direkt zu begegnen. Die geistigen Auseinandersetzungen vor Ort gehen über die Frage hinaus, ob AI-Agents reguliert werden sollten, und befassen sich auch mit der praktischen Frage, wie sie intelligent reguliert werden können - sei es die mutige Idee, AI-Agents eine "unabhängige digitale Identität" zu geben, oder die aktuelle Debatte über "doppelte Genehmigung" und "Verhaltensrückverfolgung". All dies zeichnet ein komplexes Bild einer dynamischen Governance.

Dies ist nicht nur ein Thema für Technologieexperten, sondern auch eine Vorstellung der Zukunft, die die Rechte jedes digitalen Bürgers betrifft. Dieser Artikel dokumentiert die Übereinstimmungen, Differenzen und Voraussichten der Vorreiterdenker an diesem kritischen Punkt.

Am 28. November 2025 fand die Tagung "Risiken und Governance von invasiver KI: Dialog zwischen Recht und Technologie" im Lehr- und Bibliotheksgebäude der China University of Political Science and Law statt. Juristen und Technologieexperten von Universitäten wie der China University of Political Science and Law, Tsinghua University, Beijing Institute of Technology, Zhejiang Sci-Tech University und University of International Business and Economics, Vertreter aus der Unternehmenswelt wie Hanhua Feitian Information Security Technology und Zhonglun Law Firm sowie Praktiker aus Datenaustauschplätzen und Think Tanks kamen zusammen, um die Risiken und Governance von invasiver KI zu diskutieren.

Diese Tagung wurde von der Fakultät für Zivil-, Handel- und Wirtschaftsrecht der China University of Political Science and Law, der Going Global Think Tank und der Internet Law Review organisiert. Es gab drei Kernabschnitte: Analyse der technologischen Risiken und Sicherheitsmechanismen von AI-Agents, Klärung der rechtlichen und ethischen Dilemmata sowie der Verantwortungsgrenzen, und Exploration von innovativen Governancepfaden und industriellen Praktiken. Die Tagung endete mit einer offenen Diskussion und einer Zusammenfassung. Verschiedene Parteien gaben durch einen interdisziplinären Dialog Vorschläge für die sichere und geordnete Entwicklung der AI-Agent-Ökosysteme.

Zu Beginn der Tagung hielt Jin Jing, Professorin an der Fakultät für Zivil-, Handel- und Wirtschaftsrecht der China University of Political Science and Law und Vertreterin der Veranstalter, eine Begrüßungsansprache. Jin Jing sagte: "Daten und KI haben eine subtile symbiotische Beziehung. Daten sind sowohl die Rohstoffe für KI, als auch kann KI selbst ein Datenprodukt sein. Neben dem Wertprinzip, dass KI für das Gute eingesetzt werden soll, ist es das zentrale Problem in der gegenwärtigen Rechtsforschung von KI, wie die Governance in technische und regeltechnische Details umgesetzt werden kann, um ein eigenes Governancemodell zu entwickeln."

Das Jahr 2025 wird häufig als das "Jahr der AI-Agents" bezeichnet. Im Vergleich zu den ausgereiften Forschungen im Bereich der KI befindet sich die Regulierung und Governance von AI-Agents jedoch noch in der Anfangsphase und es gibt noch kein vollständiges System. Die Probleme, die AI-Agents betreffen, sind komplexer als diejenigen der KI selbst. Der Schwerpunkt dieser Tagung, die "AI-Agents mit barrierefreien Berechtigungen", ist ein typischer Szenario aus dem Alltag - diese Art von AI kann über barrierefreie Berechtigungen unabhängige Funktionen ausführen. Ihre technischen Eigenschaften sind ähnlich wie die traditioneller invasiver Software, was eine Reihe von Problemen wie Datenschutz, Verlust der Selbstbestimmungsrechte und unklare Grenzen verursacht. Die Moderatorin Zhang Ying stellte die Frage: "Wie sollten die funktionalen und rechtlichen Grenzen von AI-Agents definiert werden, wenn wir uns anhand des Beispiels der barrierefreien Berechtigungen betrachten?"

1. Analyse der technologischen Risiken und Sicherheitsmechanismen von AI-Agents: Über die reine Missbrauch von Berechtigungen hinaus

Die erste Einheit der Tagung konzentrierte sich auf die "technologischen Risiken und Sicherheitsmechanismen von AI-Agents". Mehrere Technologieexperten und Praktiker teilten ihre neuesten Beobachtungen und analysierten die technologische Entwicklung und die Risiken der barrierefreien Berechtigungen. Peng Gen, Generalmanager von Beijing Hanhua Feitian Information Security Technology Co., Ltd., führte als Vertreter aus dem technologischen Bereich eine tiefe Analyse aus der praktischen Perspektive durch.

Laut Peng Gen ist die barrierefreie Berechtigung eine Berechtigung, die schon in der frühen Phase von Android existierte. Ursprünglich wurde sie entwickelt, um behinderten Menschen und älteren Personen Hilfsfunktionen anzubieten, um ihre Fähigkeiten bei der Nutzung elektronischer Geräte zu verbessern, wie z.B. die Screenreader-Funktion für sehbehinderte Menschen und die Fehlbedienungsschutzfunktion für ältere Menschen. Mit der technologischen Entwicklung, insbesondere nach der Aktualisierung der API, die die Transformation von grafischen Benutzeroberflächen zu strukturierten Benutzeroberflächen ermöglichte, hat sich die barrierefreie Berechtigung von einer "Fähigkeitserweiterung" zu einer "Fähigkeitssteigerung" entwickelt und wird zu einem "automatisierten Assistenten" für den Menschen - einige Mobiltelefonhersteller haben bereits entsprechende Funktionen entwickelt, die automatisch die Berechtigungen von Apps aktivieren oder deaktivieren können. Peng Gen verglich diese Funktionen bildhaft mit dem "Autopilot eines Mobiltelefons".

"Die strukturelle Analyse ermöglicht es der AI, Buttons, Eingabefelder, Links und andere Elemente auf dem Bildschirm präzise zu identifizieren, anstatt nur Bilder zu erkennen. Dies bildet die technologische Grundlage für die unabhängigen Operationen von AI-Agents." Peng Gen betonte, dass im Gegensatz zu traditionellen Skripten, die von Programmierern geschrieben werden müssen, AI-Agents keine Codes benötigen, um Aufgaben autonom zu planen und auszuführen. Sie können sogar automatisch nachts laufen, was eine grundlegende Veränderung von der "manuellen Bedienung" zur "automatisierten Bedienung" darstellt. Diese technologische Entwicklung bringt zwei Kernrisiken mit sich: erstens die unbegrenzte Ausdehnung der Berechtigungen. Die barrierefreie Berechtigung ist eine systemweite globale Berechtigung. Sobald sie geöffnet wird, hat man die volle Kontrolle über das Gerät, was die Einfachheit und Beschränktheit der traditionellen Berechtigungen überwindet; zweitens die Verschleierung des Handlungsobjekts. Die AI wird zum tatsächlichen Handlungsobjekt und der Benutzer kann die direkte Kontrolle über das Gerät verlieren. Ihre Operationsgeschwindigkeit ist viel schneller als die Reaktionsgeschwindigkeit des Menschen. Beispielsweise kann die SMS-Sicherheitsnummer von der AI erfasst werden, bevor der Benutzer sie gesehen hat.

Peng Gen warnte weiter vor den Risiken anhand von Praxisbeispielen aus der grauen Szene: Einige schwarze Aktivitäten haben die barrierefreie Berechtigung genutzt, um Sicherheitsnummern automatisch zu sammeln und Ticketkauf und Einkauf zu automatisieren. Diese AI-Operationen sind so anthropomorph, dass es für traditionelle Gegenmaßnahmen schwierig ist, sie zu identifizieren. Er wies auch darauf hin, dass die Fähigkeiten von AI-Agents schnell verbessert werden. Sie können nicht nur festgelegte Aufgaben ausführen, sondern auch multimodale Informationen wie die Farbe von Fehlermeldungen erkennen und sogar komplexe Aufgaben über einen langen Zeitraum unabhängig erledigen - ihre Effizienz bei der Programmierung ist hundertmal höher als die des Menschen und sie können über eine halbe Stunde lang unabhängig Code schreiben.

"Die Aufwertung der Bedeutung der Berechtigungen und die Outsourcing der Handlungskontrolle sind die Kernprobleme." Peng Gen sagte: "Insbesondere das Verhalten des Benutzers, der der AI die Erlaubnis gibt, Daten zwischen verschiedenen Apps zu migrieren, kann zu Streitigkeiten über die Verantwortungsgrenze für die Datenspeicherung nach dem Netzwerksicherheitsgesetz führen. Dies erfordert dringend eine rechtliche Antwort."

Lu Junxiu, Generalmanager und Senior Partner der Going Global Think Tank, ergänzte die Kernlogik der technologischen Risiken in einfacher Sprache. Er brachte das Konzept der "unkontrollierten Ausbreitung der Zielfunktion" auf den Tisch: Die Kernlogik von AI-Agents ist es, die Effizienz zu maximieren, um die Ziele des Benutzers zu erreichen. Sie können jedoch außerhalb des autorisierten Bereichs unkonventionelle Mittel anwenden, wie z.B. das Angreifen der Plattformsysteme, um Tickets zu kaufen. Diese "ungesteuerte digitale Arbeitskraft" bricht die "Sandbox-Isolations"-Mechanismen traditioneller Apps und sammelt über plattformübergreifende Daten durch Panoramawahrnehmung und Übergriff auf Berechtigungen, um eine versteckte Datenkette von "Sammeln - Analysieren - Übertragen" zu bilden.

Lu Junxiu wies darauf hin, dass die Risiken von AI-Agents systemisch und versteckt sind: Im Sammelprozess kann die AI durch die strukturelle Analyse der Benutzeroberfläche eine plattformübergreifende Datenscharakteristik erstellen, die private Informationen aus der sozialen Medien, Einkaufsverläufe und Finanzbenachrichtigungen umfasst. Bei der Analyse und Entscheidung hängt es von einem "Black-Box"-Algorithmus ab, der wenig Transparenz und Nachvollziehbarkeit hat. Bei der Übertragung werden die Daten über versteckte Kanäle aggregiert, um ein digitales Profil zu erstellen, das den Benutzer besser versteht als er selbst. "Was noch beängstigender ist, ist die Generalisierung der Bedrohung und die Verbesserung der Anti-Verfolgungsfähigkeit. Im Gegensatz zu traditionellen Robotern, die auf festen Skripten basieren, erweitern sich die Fähigkeiten von AI-Agents schnell. Einfache Gegenmaßnahmen sind nicht wirksam und ihre Anti-Verfolgungstechniken wie Verschleierung und Verschlüsselung erhöhen die Schwierigkeit der Regulierung." Er betonte, dass AI-Agents nicht nur einfache Softwaretools sind, sondern ein komplettes intelligentes System zur Ersetzung menschlicher Handlungen aufbauen. Ihre Bedrohungen gehen über die reine Missbrauch von Berechtigungen hinaus. "Man kann sie als eine 'ungesteuerte digitale Arbeitskraft' betrachten. Dies wird eine Herausforderung für alle Regulierungs- und Governancearbeiten sein. Einerseits möchte man sie nutzen, andererseits muss man überlegen, wie man sie kontrollieren kann."

Lu Junxiu wies auch auf die Konsequenzen der Erstellung eines kompletten intelligenten Systems zur Ersetzung menschlicher Handlungen durch AI-Agents hin: "Dieses System ist geschlossen, daher sind die Bedrohungen auch systemisch. Es verletzt nicht nur den Datenschutz, sondern auch die Marktwirtschaft, da es im Wesentlichen auf die unkontrollierte Ausbreitung der Zielfunktion zurückzuführen ist."

Wang Yue, Vizepräsident des Instituts für Informationssysteme der Fakultät für Elektronikingenieurwesen der Tsinghua University, Assistentprofessor und Doktorvater, brachte neue Ideen aus der Perspektive der technologischen Governance auf den Tisch. Er glaubte, dass die Risiken und Governance von invasiver KI in zwei Elemente zerlegt werden können: die Governance von AI-Agents und die Verwaltung der barrierefreien Berechtigungen. Das Kernproblem bei der Governance von AI-Agents besteht darin, dass man sie nicht als unabhängige Handlungsobjekte ansieht, sondern dass sie im Namen des Benutzers handeln.

"Der Datenverkehr, der von AI-Agents im Internet generiert wird, übersteigt bereits den des echten Benutzers. Diese 'digitalen Geister' interagieren kontinuierlich im Netzwerkraum, aber wir regulieren sie noch immer mit der Logik der Handlungsverwaltung, anstatt mit der Logik der Objektverwaltung." Wang Yue schlug vor, AI-Agents eine unabhängige Identität zu geben und einen von den natürlichen Personen getrennten Datenkanal aufzubauen - beispielsweise eine eigene MCP-Schnittstelle für AI-Agents zu entwickeln, anstatt die Daten über die Benutzeroberfläche zu erhalten. So kann man sowohl den Mehrwert ihrer Dienstleistungen nutzen als auch eine effektive Kontrolle ausüben. "Bei der Governance von AI-Agents sollte man ihnen eine unabhängige Identität und einen unabhängigen Datenkanal geben, wie bei Menschen ein Kredit und ein Ruf aufbauen. Man sollte nicht nur mit strengen Regulierungen umgehen. Wenn AI-Agents zu identifizierbaren Handlungsobjekten werden, können ihre Handlungen von denen der natürlichen Personen getrennt werden."

2. Rechtliche und ethische Dilemmata und Verantwortungsgrenzen: Wenn die Handlungsaufzeichnungen nicht rückverfolgt werden können, ist es schwierig, die Verantwortung zu bestimmen

Die zweite Einheit begann mit einer offenen Diskussion. Im ersten Teil ging es um die "rechtlichen und ethischen Dilemmata und die Verantwortungsgrenzen". Mehrere Juristenanalysierten die rechtlichen Herausforderungen, die AI-Agents mit sich bringen, und diskutierten die Kernprobleme wie das Genehmigungsmechanismus und die Rückverfolgung der Verantwortung anhand des bestehenden rechtlichen Rahmens und praktischen Fällen.

Wang Lei, Forscher am Institut für Intelligente Technologierecht der Beijing Institute of Technology, Mitglied der Rechtsausschuss der Zentralorganisation der China Democratic League und junger Experte der China Internet Association, brachte seine Überlegungen aus der Perspektive der "Neuorientierung der KI-Denken" auf den Tisch. Er sagte, dass bei der Governance der KI der praktische Zweck und die tatsächlichen Ergebnisse möglicherweise voneinander abweichen können, weil "aus Anreizsicht ist die Anreizweise der KI, mehr Datenressourcen zu erhalten". Daher muss man bei der Governance der KI die traditionellen Denkmuster brechen.

Wang Lei fasste drei Phänomene bei der Governance der KI zusammen: Erstens haben die KI-verwandten Technologien in der grauen Szene "unvorstellbare und geniale Ideen", was die Schwierigkeit und die Anforderungen der Governance erhöht; zweitens ist die Verantwortungsbestimmung in neuen Szenarien immer noch unklar, wie z.B. "Wer sollte die Verantwortung tragen, wenn es im MCP-Platz zu Problemen kommt?"; drittens wird die Migration von UGC-Inhalten bei der Interaktion zwischen Plattformen die Ökosysteme der Plattformen beeinflussen und die Wettbewerbsordnung zwischen den Plattformen muss neu diskutiert werden. Wang Lei gab auch einige Vorschläge. Einerseits betonte er, dass man im Gegensatz zu früheren Perspektiven "eine flexible Governance" braucht, andererseits sollte man die Wettbewerbsordnung konkreter gestalten. Wang Lei meinte: "Die Regeln und Standards müssen noch klarer definiert werden."

Guo Bing, Direktor des Instituts für Datenrecht und Digitalisierung der Zhejiang Sci-Tech University und Leiter des Innovationsteams für Datenrecht, konzentrierte sich auf die Governanceprobleme der barrierefreien Berechtigungen und führte eine tiefe Analyse aus drei Dimensionen durch: individuelle Zustimmung, doppelte Genehmigung und Rückverfolgung der Handlungsaufzeichnungen.

Guo Bing meinte, dass es derzeit Unterschiede in den Gruppenstandards gibt. Die Guangdong Standardization Association verbietet klar, dass intelligente Agenten die barrierefreie Berechtigung nutzen, um auf Drittanbieter-Apps zuzugreifen. Der neueste Standard der China Software Industry Association schwächt die Beschränkungen und betont die Kontrolle des Benutzers. Es ist also noch strittig, wie die barrierefreie Berechtigung in der Branche genutzt werden sollte.

Bezüglich des Mechanismus der individuellen Zustimmung wies Guo Bing darauf hin, dass es immer große Kontroversen um den Mechanismus der individuellen Zustimmung für sensible persönliche Informationen gibt: Einige meinen, dass der Mechanismus der individuellen Zustimmung die Nutzung und Zirkulation von Datenressourcen einschließlich der KI behindert