Asymmetrie der algorithmischen Vertretung: Wenn KI für dich entscheidet, hast du nicht einmal das Recht zu widersprechen.

Eine intelligente Gesellschaft darf nicht zulassen, dass unsichtbare Systeme die Entscheidungen, Belohnungen und Verhaltensweisen der Menschen bestimmen, ohne ihnen wirksame Mittel zu geben, diese Auswirkungen zu beobachten, zu hinterfragen und zu korrigieren. Mit der Entwicklung der künstlichen Intelligenz gleitet die Gesellschaft auf einen gefährlichen Abhang zu: Sie geht rasch von Experimenten und der Integration künstlicher Intelligenz zur Abhängigkeit über und schließlich sogar zur Sucht. Eines der wichtigsten Probleme dabei ist jedoch, ob die politischen Entscheidungsträger diesen Wandel erkennen.

Im Allgemeinen bedeutet Asymmetrie, dass die beiden Seiten einer Beziehung nicht gleichgestellt sind. Im digitalen Leben beschreibt „Algorithmusasymmetrie“ eine tiefere Ungleichgewichtslage zwischen zwei Parteien: Die eine Seite kann ihre Algorithmen beobachten, modellieren, testen und verbessern, während die andere Seite hauptsächlich die Folgen der Algorithmen trägt. Diese Ungleichheit hat heute Bereiche wie Personalbeschaffung, Kreditvergabe, Versicherungen, Bildung, Polizeiarbeit, Medien und alltägliche Aufmerksamkeitsstrukturen durchdrungen. Die Folge ist eine Asymmetrie der algorithmischen Subjektivität: Nutzer können die unangemessenen Auswirkungen von Algorithmen auf ihre eigene Situation nicht erkennen und sich ihnen nicht widersetzen.

Die drei „kognitiven Fesseln“ der Algorithmen

Diese Algorithmusasymmetrie lässt sich auf drei Ebenen erklären.

Die erste Ebene ist die Opazität: Organisationen, die algorithmische Systeme entwerfen, einsetzen oder erwerben, verstehen in der Regel die Ziele, Schwellenwerte, Anreize und Schwachstellen der Systeme besser als die Personen, die mit ihnen interagieren. Das „Problem der Opazität“ erklärt, warum diese Lücke fortbesteht: Einige Systeme werden absichtlich verborgen, um geistiges Eigentum zu schützen, andere erfordern eine fachliche Ausbildung, um verstanden zu werden, und wieder andere sind selbst für Experten schwer zu deuten. Wenn ein System schwer zu prüfen ist, erscheinen seine Ergebnisse oft objektiver, als sie tatsächlich sind – dies führt zum „Black-Box-Irrtum“.

Die zweite Ebene der Algorithmusasymmetrie ist die Verstärkung historischer Vorurteile. Algorithmen lernen aus der vergangenen Welt, einschließlich vergangener Vorurteile oder Ausgrenzungen. Selbst scheinbar neutrale Systeme können Ungleichheitsmuster reproduzieren, die bereits in den Daten vorhanden sind. Voreingenommene Vergangenheit wird als Trainingsmaterial eingegeben und schließlich in Form von Vorhersagen, Bewertungen oder Empfehlungen ausgegeben – und erscheint aufgrund ihres Ursprungs als Berechnung neutral. In Wirklichkeit tauchen alte Hierarchien lediglich in einer moderneren, eleganteren Oberfläche wieder auf.

Die dritte Ebene sind rekursive Systeme. Systeme werden in der Regel nicht einmalig eingesetzt; im Gegenteil, Nutzer trainieren sie kontinuierlich. Jeder Klick, jede Pause, jeder Hinweis, jede Pfadwahl, jeder Kauf und jedes Zögern wird zu Daten. Empfehlungssysteme sind darauf ausgelegt, aus diesen Signalen zu lernen und sich anzupassen – aber das ist nicht das Ende des Kreislaufs. Aufgrund dieser Lernergebnisse gestalten die Systeme, was wir als Nächstes sehen, bestimmen, was normal erscheint, was relevant wirkt und manchmal sogar, was wünschenswert erscheint – während ihre Ziele für den Endnutzer immer unklar bleiben. Mit anderen Worten: Wir trainieren die Systeme, und die Systeme trainieren uns im Gegenzug. „Algorithmusdrift“ beschreibt diese koevolutive Beziehung zwischen Nutzer und Plattform.

Wenn Algorithmen für dich „leben“

Die Handlungsfähigkeit (Agency) der künstlichen Intelligenz bedeutet die Fähigkeit, auf sinnvolle Weise zu urteilen, zu wählen und zu handeln sowie die verschiedenen Kräfte zu verstehen, die die eigenen Entscheidungen beeinflussen.

Wenn Organisationen digitale Systeme wie personalisierte Push-Nachrichten, zielgerichtete Werbung, dynamische Preisgestaltung, Empfehlungsmaschinen und Risikobewertungen nutzen, um Einfluss und Ergebnisse in großem Maßstab zu testen, zu messen und zu optimieren, entsteht eine Asymmetrie der Handlungsfähigkeit. Das Marketing hat immer versucht, Verhalten zu formen; der Unterschied heute liegt in der Präzision und den Feedback-Mechanismen: Organisationen können individuelles Verhalten in Echtzeit beobachten, Bevölkerungsgruppen in immer feinere Kategorien unterteilen, kontinuierlich A/B-Tests durchführen und anpassen, was jede Person sieht, was sie zahlt oder welche Vorteile sie erhält. Im Vergleich dazu haben Einzelpersonen in der Regel nur Zugang zur Oberfläche des Systems: eine Push-Nachricht, eine Bewertung, einen Preis, eine Empfehlung oder eine Ablehnung – ohne zu wissen, wie ihre Daten verwendet werden, welches Ziel optimiert wird und wie ihre Entscheidungen gelenkt werden.

Dies ist von entscheidender Bedeutung, denn Menschen passen sich an das an, was das System belohnt. Bei der Personalbeschaffung geht es nicht mehr nur darum, ob Bewerber ihren Lebenslauf sorgfältig gestalten, um Personalvermittler zu beeindrucken; automatisierte Filtertools und KI-Rangsysteme können bestimmte Signale belohnen, während ihre zugrundeliegende Logik verborgen bleibt. Eine Studie der University of Washington ergab, dass große Sprachmodelle bei der Rangfolge von über 550 echten Lebensläufen in 85 % der Fälle Lebensläufe mit Namen, die mit weißen Menschen assoziiert werden, bevorzugten und nie Lebensläufe mit Namen, die mit schwarzen Männern assoziiert werden, begünstigten. Im Bildungsbereich zeigte die Notenaffäre in Großbritannien 2020, wie algorithmische Modelle die Schulhistorie in individuelle Noten umwandeln: Die Prüfungsaufsichtsbehörde Ofqual senkte die schulinternen Bewertungen von etwa 40 % der Schüler, was zu massivem öffentlichen Protest führte und schließlich dazu, dass die Regierung diese Entscheidung rückgängig machte.

Darüber hinaus bringen neuere KI-Tools weitere Risiken mit sich. Forscher der Stanford University testeten die Leistung von sieben weitverbreiteten KI-Detektoren an Stichproben von Muttersprachlern und Nicht-Muttersprachlern. Die Ergebnisse zeigten, dass KI-Detektoren bei den Proben von Nicht-Muttersprachlern 61,22 % der Texte fälschlicherweise als KI-generiert einstuften – was darauf hindeutet, dass einige Schüler aufgrund ihrer Schreibweise leichter verdächtigt oder bestraft werden. Ein ähnliches Phänomen tritt im digitalen Leben und Arbeiten auf. Das berühmte Experiment von Facebook im Jahr 2014 mit 689.003 Nutzern zeigte, dass Änderungen im Kontakt mit positiven oder negativen Posts die emotionale Sprache beeinflussen, die Nutzer anschließend verwenden. Im Einzelhandel berichteten Arbeiter in Amazon-Lagern, dass sie geschwindigkeitsbasierte Kennzahlen erfüllen müssen, ohne zu wissen, wie diese berechnet werden. Berichte und Studien zur algorithmischen Verwaltung in Amazon-Lagern behandeln ebenfalls dieses Phänomen. Diese Fälle enthüllen ein tieferliegendes Problem: Digitale Systeme klassifizieren Verhalten nicht nur nachträglich. Sie lehren die Menschen, welche Wörter sie verwenden, welche Risiken sie vermeiden, welche Emotionen sie ausdrücken und welche Kennzahlen sie verfolgen sollen. Wenn Organisationen die Bedingungen gestalten, unter denen Menschen denken, handeln und entscheiden, während Einzelpersonen diese Bedingungen lediglich als Punkte, Noten, Informationen, Ziele oder Preise erleben, gewinnt die algorithmische Asymmetrie der Handlungsfähigkeit politische Bedeutung.

Politik darf nicht nur leere Phrasen sein

Daher muss die Politik diese Beziehung neu ausbalancieren. Zunächst sollten Gesetzgeber verlangen, dass sinnvolle Benachrichtigungen und Erklärungen bereitgestellt werden, wenn Auswirkungen eintreten. Nutzer sollten wissen, wann sie mit künstlicher Intelligenz interagieren, wann Inhalte synthetisch sind und wann eine wichtige Entscheidung von einem automatisierten System beeinflusst wird. Die Logik hinter der europäischen Transparenzpflicht in Artikel 50 des KI-Gesetzes der Europäischen Union weist in die richtige Richtung. Die KI-Prinzipien der OECD drücken denselben Gedanken auf breiterer Ebene aus: Die Menschen benötigen ausreichende Informationen, um die Ergebnisse zu verstehen und bei Bedarf Einspruch zu erheben.

Zweitens sollten Regierungen verlangen, dass vor dem Einsatz algorithmischer Systeme in Hochrisikobereichen wie Beschäftigung, Bildung, Wohnen, Versicherung, Gesundheitswesen, Soziales und Polizeiarbeit durchsetzbare Folgenabschätzungen durchgeführt werden. Einige bestehende Ansätze bieten dafür eine Grundlage, beispielsweise die algorithmische Folgenabschätzung Kanadas, die menschenrechtliche KI-Folgenabschätzung Ontarios und die Grundrechts-Folgenabschätzung für Hochrisiko-KI-Systeme in Europa. Jüngste Misserfolge zeigen, dass strengere Schutzmaßnahmen unerlässlich sind. In Großbritannien entschied der Berufungsgerichtshof in der Rechtssache R (Bridges) gegen den Chief Constable von South Wales, dass der Einsatz von Echtzeit-Gesichtserkennung durch die South Wales Police rechtswidrig sei. In Detroit wurde Robert Williams aufgrund einer falschen Übereinstimmung der Gesichtserkennung fälschlicherweise verhaftet – ein Fall, den die American Civil Liberties Union dokumentierte. Vor dem Einsatz sollten Behörden daher die möglichen Auswirkungen von KI-Systemen bewerten, beispielsweise Verletzungen von Rechten, Schaden für schutzbedürftige Gruppen und die Verteilung von Fehlern, sowie die Notwendigkeit menschlicher Aufsicht, Beschwerdemechanismen und Abhilfemaßnahmen prüfen – und nach Möglichkeit öffentlich berichten.

Drittens muss die menschliche Aufsicht echt, wirksam, geschult und geschützt sein. In vielen Einrichtungen ist die Befugnis zum „menschlichen Eingreifen“ oft eingeschränkt, wenn Mitarbeiter unter Druck stehen, die Ergebnisse des Systems zu vertrauen. Das australische „Robo-Debt-Programm“ zeigte, wie automatisierte Berechnungen von Sozialschulden Menschen schaden können, wenn Beamte die vom System generierten Forderungen als verbindlich ansehen. In der Rechtssache R (Bridges) gegen die Polizei von South Wales entschied der britische Berufungsgerichtshof, dass der Einsatz von Echtzeit-Gesichtserkennung rechtswidrig sei – teilweise aufgrund unzureichender Schutzmaßnahmen in Bezug auf Ermessensspielraum, Datenschutz und faire Auswirkungen. Der „Horizon“-Skandal der britischen Post legte ähnliche Misserfolge offen: Man vertraute den fehlerhaften Ausgaben der Software statt den persönlichen Erfahrungen von Hunderten von Postfilialleitern. Der Wert von Artikel 14 des europäischen KI-Gesetzes liegt darin, dass Personen, die die menschliche Aufsicht über Hochrisiko-KI-Systeme ausüben, diese Systeme verstehen, überwachen, interpretieren, außer Kraft setzen oder unterbrechen müssen. Jede Einrichtung, die KI mit erheblichen Auswirkungen einsetzt, sollte verantwortliche Prüfer benennen, sie darin schulen, automatisierte Verzerrungen zu erkennen, und ihnen die echte Befugnis geben, schädliche Ergebnisse zu stoppen.

Viertens darf die Regulierung nicht mit der Veröffentlichung des Systems enden. Modelle driften, Umstände ändern sich und Anreize wandeln sich. Ein System, das im Test akzeptabel erscheint, kann diskriminierend oder manipulierend werden, sobald es mit echten Menschen interagiert. Daher sollten Überwachung nach dem Einsatz, Protokollierung, unabhängige Prüfungen und Vorfallsmeldungen zu rechtlichen Verpflichtungen werden. Das „Risikomanagement-Framework für künstliche Intelligenz“ des National Institute of Standards and Technology der USA sowie die Bestimmungen des KI-Gesetzes zur Überwachung nach dem Inverkehrbringen erkennen dies an. Der Pro-Social-KI-Index kann verwendet werden, um die Auswirkungen von KI-Systemen auf Menschen und ihre Umwelt zu kartieren, zu messen und zu überwachen.

Fünftens sollten bestimmte Praktiken verboten werden. Systeme, die darauf abzielen, Schwächen auszunutzen, Verhalten durch irreführendes Design zu verzerren oder Kinder und andere schutzbedürftige Gruppen zu manipulieren, sollten verboten werden – nicht nur milde Anweisungen erhalten. Artikel 5 des EU-KI-Gesetzes verbietet bestimmte manipulative und ausbeuterische Verwendungen und zieht eine notwendige harte Grenze. Eine gesunde digitale Gesellschaft darf sich nicht nur auf Informationsoffenlegungen verlassen, sondern muss darauf achten, ob ihr zugrundeliegendes Design darauf abzielt, das Urteilsvermögen zu untergraben.

Algorithmenkompetenz sollte als bürgerliche Infrastruktur betrachtet werden. Wenn nur Entwickler, Anbieter und Compliance-Teams verstehen, wie diese Systeme funktionieren, besteht auch bei guter Regulierung weiterhin ein Machtungleichgewicht. Bürger, Lehrer, Richter, Journalisten, Kliniker und öffentliche Verwalter benötigen praktische Kompetenz in Bezug auf synthetische Medien, Rangsysteme, Verhaltenslenkung, Widerspruchsrechte und die Grenzen von Modellergebnissen. Der vierte Artikel über KI-Kompetenz in Europa ist ein nützliches Signal, das zu einer umfassenderen öffentlichen Aufgabe entwickelt werden sollte. Neben der KI-Kompetenz ist es an der Zeit, in doppelte Kompetenz zu investieren, um sicherzustellen, dass Nutzer das Zusammenspiel zwischen ihrer eigenen Wahrnehmung, ihrem Verhalten und dem Einfluss künstlicher Systeme auf sich erkennen.

Letztendlich ist die Asymmetrie der algorithmischen Handlungsfähigkeit kein isoliertes technisches Problem, sondern ein strukturelles Ungleichgewicht: Wer die Kraft der Algorithmen wahrnehmen, gestalten und ihr widerstehen kann. Die eine Seite lernt schneller, testet kontinuierlich und greift unbemerkt ein; die andere Seite passt sich an, ohne über vollständige Informationen zu verfügen. Gute Politik kann diese Asymmetrie nicht vollständig beseitigen, aber sie kann die Lücke in den wichtigsten Bereichen verringern, indem sie die Auswirkungen der Automatisierung sichtbar, hinterfragbar, prüfbar und steuerbar macht.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Internet Law Review“, Autorin: Cornelia Walter, und wird mit Genehmigung von 36Kr veröffentlicht.