StartseiteArtikel

Welche verborgene Wahrheit steckt dahinter, dass herausragende Mitarbeiter KI unbemerkt umgehen?

哈佛商业评论2026-11-20 10:40
Künstliche Intelligenz ist leistungsstark und praktisch, aber die Mitarbeiter nutzen sie nicht. Nicht weil sie der KI nicht vertrauen, sondern weil sie dem Unternehmen einfach nicht vertrauen.

Ende 2022 genehmigte eine multinationale Bank ein KI-System zur Automatisierung routinemäßiger Kreditentscheidungen. Oberflächlich betrachtet war dies genau die sogenannte vorausschauende Maßnahme, zu der Experten Unternehmen seit langem drängen. In der Pilotphase bearbeitete das System Anträge schneller als Menschen, reduzierte Fehler und versprach erhebliche Kosteneinsparungen. Die Risikomanagementabteilung des Unternehmens stimmte zu, die Compliance-Abteilung erteilte die Genehmigung, und der CEO pries das System öffentlich als starken Beweis dafür an, dass die Bank in die Zukunft vorstößt.

Sechs Monate später bewertet das KI-System weiterhin Kreditanträge von Nutzern und erzeugt Empfehlungen, aber die meisten Antragsdokumente müssen weiterhin manuell geprüft werden. Die Ausnahmen nehmen stetig zu, und Maßnahmen, die ursprünglich als vorübergehende Sicherheitsvorkehrungen gedacht waren, wie z. B. Schwellenwerte für Doppelprüfungen und Markierungen für manuelle Bestätigungen, verfestigen sich allmählich zu dauerhaften Verfahrensschritten. Obwohl das KI-System in den Arbeitsablauf der Bank integriert wurde, werden die meisten endgültigen Entscheidungen tatsächlich nie von ihm getroffen.

Die Gründe sind allseits bekannt: Die Organisation ist noch nicht vollständig bereit, das Modell muss weiter optimiert werden, die Mitarbeiter benötigen mehr Schulungen, und Veränderungen sind immer schwierig. Dennoch ist die technische Machbarkeit gegeben, die wirtschaftlichen Vorteile sind klar erkennbar, und das KI-System hat die offizielle und begeisterte Zustimmung der Organisation erhalten. Nur wurde ihm nie wirklich die „Befugnis“ erteilt – also die volle Unterstützung der Organisation, Entscheidungen innerhalb klar definierter Grenzen zu treffen.

Ähnliche Versionen dieser Geschichte spielen sich in vielen Branchen ab. Ein multinationales Fertigungsunternehmen führte ein KI-gestütztes Nachfrageprognosesystem ein, aber die Planungsabteilung des Unternehmens behielt ihre alten Arbeitsabläufe bei und betrachtete die Prognoseergebnisse der KI lediglich als Referenz. Ein medizinisches Dienstleistungsnetzwerk führte ein KI-gestütztes Triage-System ein, das sowohl die Wartezeit der Patienten verkürzte als auch die Konsistenz der Triage verbesserte. Die Kliniker erkannten die Genauigkeit des KI-Modells an, bestanden aber dennoch darauf, die meisten von der KI abgegebenen Empfehlungen manuell zu überprüfen. Infolgedessen wurde dieses Triage-System eher zur Archivierung als zur Unterstützung von Entscheidungen verwendet.

Das Problem liegt nicht darin, dass das Pilotprojekt gescheitert ist, sondern darin, dass sich Rechenschaftspflicht und Legitimität innerhalb der Organisation nicht parallel weiterentwickelt haben, um die Anwendung des KI-Systems zu unterstützen. Was ich als „Legitimitätsarchitektur“ bezeichne, ist ein Konsens innerhalb der Organisation darüber, wer das Recht hat, Entscheidungen zu treffen, und wessen Entscheidungen vertraut werden. Viele Organisationen steigern stetig ihren Intelligenzgrad, gestalten aber ihre Organisationsstruktur nicht im Zuge dieser Veränderung neu.

Dieses Szenario ist nicht neu

Das oben genannte Szenario wirkt neu, weil die Technologie neu ist, aber aus Sicht der Organisationsstruktur ist es überhaupt nicht neu. Frühere Wellen automatisierter Entscheidungen, wie ERP-Systeme (Enterprise Resource Planning) und Kreditbewertungen, haben dieselbe organisatorische Trägheit offengelegt: Obwohl Unternehmen Systeme eingeführt haben, die bessere Entscheidungen treffen können, behielten sie die bestehende Struktur manueller Entscheidungsbefugnisse bei, was häufig dazu führt, dass die von dem System getroffenen Entscheidungen abgelehnt werden.

In den 1990er Jahren, nach dem Erscheinen von ERP-Systemen wie den Produkten von Oracle und SAP, versprachen diese eine zentralisierte transparente Verwaltung und Betriebsoptimierung des gesamten Unternehmens. Die Erfahrung von Nestlé USA bei der Implementierung eines ERP-Systems ist aufschlussreich. Zuvor operierten die einzelnen Abteilungen des Unternehmens unabhängig voneinander und waren jeweils für ihre eigene Produktion, Kosten und Lieferantenverträge verantwortlich. Als das ERP-System die Abteilungen aufforderte, diese Autonomie aufzugeben und einheitlichen Geschäftsabläufen zu folgen, hatten die Mitarbeiter, die weiterhin für die lokalen Geschäftsergebnisse verantwortlich waren, natürlich gute Gründe, an ihren eigenen Entscheidungen festzuhalten. Obwohl das System einheitliche konsolidierte Prognosedaten generierte, belohnte das damalige Rechenschaftssystem die lokale Anpassung der Systemempfehlungen, also das „Überschreiben“ (Override) von Systementscheidungen. Wie Tom Davenport vom Babson College feststellte, betrachtete das Unternehmen das ERP-System damals lediglich als eine technische Bereitstellung und nicht als eine umfassende Neugestaltung des Managementprozesses.

Fast gleichzeitig trat dasselbe Phänomen bei automatisierten Kreditbewertungen auf. Obwohl Modelle bei der Quantifizierung von Risiken schneller und zuverlässiger sind als Menschen, ist die gängige Praxis das „manuelle Eingreifen“. Studien zu Autokrediten zeigen, dass algorithmische Underwriting im Vergleich zum manuellen Underwriting nicht nur höhere Kreditgewinne bringt, sondern auch die Ausfallrate senkt. Der signifikanteste Leistungsunterschied zwischen beiden liegt genau in den Bereichen, in denen Kreditsachbearbeiter aus eigennützigen Gründen ihre Ermessensspielräume vehement verteidigen. Andere Studien ergaben, dass Kreditsachbearbeiter Eingabedaten und Bewertungsergebnisse manipulieren, um Anträge, die ursprünglich am Rand der Genehmigung standen, über die Schwelle zu heben und so leistungsbezogene Prämien auf Basis des Geschäftsvolumens zu erhalten. Scheinbar wurde die Genehmigungsbefugnis an das Modell delegiert, aber die endgültige Verantwortung verbleibt bei den zuständigen Mitarbeitern.

Die Praxis der Luftfahrtbranche bei Ertragsmanagementsystemen liefert einen nützlichen Vergleichsfall. Diese Systeme erlangten dauerhafte Autorität, weil die Fluggesellschaften sie durch die Anpassung der Verteilung von Rechten und Pflichten stark unterstützten. Die Fluggesellschaften klärten die Fälle auf, in denen manuelle Eingriffe angemessen sind, standardisierten den Eskalationsprozess für Probleme, passten die Leistungsbewertung an und etablierten die berufliche Legitimität des „Befolgens des Systems“. Die Autorität des Systems wurde nicht durch die perfekte Leistung des Algorithmus selbst begründet, sondern dadurch, dass die Fluggesellschaften den Organisationsmechanismus zur Steuerung automatisierter Systeme veränderten.

Die innere Logik, die sich in den oben genannten positiven und negativen Fällen widerspiegelt, ist konsistent: Wenn sich die Entscheidungslogik schneller entwickelt als die Anpassungsgeschwindigkeit verwandter Steuerungsmechanismen wie Rechenschaftspflicht und Legitimität, kann die Autorität des Systems nicht etabliert werden. Veränderungen im Steuerungsmodus gehen oft mit einer Machtverlagerung einher. Davenport, Erik Brynjolfsson und andere haben dieses Phänomen bereits früher festgestellt. Dieser Artikel wird die zugrunde liegende Ursache aufzeigen: Solange einzelne Mitarbeiter weiterhin für die Ergebnisse des Systembetriebs verantwortlich sind, wird die Entscheidungsbefugnis nicht wirklich verlagert.

Unternehmen müssen diese Diskrepanz zwischen Rechten und Pflichten beheben. Andernfalls werden Mitarbeiter das KI-System weiterhin umgehen – nicht aus Widerstand, sondern rein zum Selbstschutz.

Keine noch so große Schulung oder Kommunikation kann diese Lücke schließen. Unternehmen mögen es schaffen, die Veränderung umzusetzen, aber sie weisen der Technik dauerhaft nur eine beratende Rolle zu. Unternehmen mögen ihren Mitarbeitern ausreichend psychologische Sicherheit bieten, aber sie könnten Mitarbeiter, die den Anweisungen des Systems folgen, dennoch bestrafen, wenn Entscheidungsfehler auftreten. Solange die Rechenschaftspflicht auf Einzelpersonen abzielt, werden Menschen selbstschützende Verhaltensweisen an den Tag legen.

Es gibt andere Erklärungen dafür, warum Menschen der KI keine Entscheidungsbefugnis übertragen, aber diese führen oft zu falschen Gegenmaßnahmen. Zum Beispiel argumentieren einige, dass organisatorische Trägheit Widerstand erzeugt, aber bei KI-Anwendungen sehen wir oft oberflächliche Einwilligung: Dashboards laufen, Arbeitsabläufe sind in das System integriert, und Mitarbeiter nutzen es. Dennoch erhält das KI-System keine echte Entscheidungsbefugnis.

Forschungen zur „Automatisierungszufriedenheit“ (Automation Complacency) gehen davon aus, dass Menschen Maschinen oft zu leichtfertig gehorchen. Dieses Phänomen trifft hier aber nicht zu; vor dem KI-System sind Menschen nicht blind gehorsam, weil die Rechenschaftspflicht des Unternehmens dies beruflich riskant macht.

Forschungen zum „Produktivitätsparadoxon“ weisen zwar darauf hin, dass Investitionen in Informationstechnologie nicht zu Leistungssteigerungen führen, erklären aber meist nicht die organisatorischen Mechanismen, die zu diesem Ergebnis führen.

Ethan Bernsteins Forschung zur Transparenz zeigt, dass Mitarbeiter, die unter Beobachtung stehen, ihre tatsächlichen Handlungen verbergen, um Prüfungen zu umgehen, aber sie nutzen gleichzeitig explizite Mechanismen der Compliance, wie archivierte Ausnahmevorgänge, Eskalationsverfahren und mehrfache Prüfschritte, als Mittel zur Wahrung ihrer eigenen Kontrolle.

Was ist die Wahrheit?

In den meisten Fällen setzen Unternehmen zwar ein KI-System ein und preisen es in internen Präsentationen an, aber in Wirklichkeit gewinnt am Ende immer der Mensch stillschweigend, wenn KI und Mensch unterschiedlicher Meinung sind. Aus Vorsicht überarbeiten Experten ständig die Grenzen des KI-Systems: Sie fügen weitere Prüfschritte hinzu, senken die Auslöseschwellen leicht, erhöhen die Anzahl der zu archivierenden „Überschreibungs“-Vorgänge (also Vorgänge, die den regulären Ablauf umgehen) und aktivieren neue Markierungsmechanismen für sensible Fälle. Jede dieser Einstellungen und Anpassungen ist für sich betrachtet vertretbar, aber in ihrer Gesamtheit sind die Folgen katastrophal.

Der Einsatz des Routenplanungssystems namens ORION bei UPS (United Parcel Service) veranschaulicht diese Spannung lebendig. Als das System 2013 eingeführt wurde, betrachteten viele Fahrer die vom System generierten Routen als Referenzvorschläge und vertrauten eher auf ihre lokale Erfahrung und Kundenbeziehungen. Im Laufe der Zeit passte UPS die Leistungsbewertungskriterien an: Fahrer wurden nicht mehr mit ihrer eigenen vergangenen Leistung verglichen, sondern anhand der von ORION festgelegten Routen bewertet, wobei das System verfolgte, wie sie die Routen einhielten. So wurde das „Befolgen des Algorithmus“ zu einer rechtmäßigen Handlung im Rahmen der beruflichen Pflichten der Fahrer.

Kürzlich habe ich dieselbe Dynamik in einem anderen multinationalen Logistikunternehmen beobachtet. Dieses Unternehmen spezialisiert sich auf den Transport hochwertiger Güter für Unternehmenskunden. In dem Pilotprojekt reduzierte ein KI-Routenplanungssystem Verspätungen von Gütern erheblich und verbesserte die Anlagenauslastung, woraufhin das Unternehmen die Einführung des Systems genehmigte. Die Disponenten gaben privat zu, dass das System oft bessere Lösungen liefert als die Routen, die sie sich selbst ausgedacht haben. Dennoch passten die Disponenten nach der vollständigen Einführung des Systems die Routen im täglichen Betrieb ständig an – für langjährige Kunden, für Güter mit politischer Bedeutung innerhalb des Unternehmens und für Fahrer, denen sie mehr vertrauen. Anfangs wurden diese Anpassungen als „Feinabstimmungen“ betrachtet, aber im Laufe der Zeit fungierte das KI-System nicht mehr als Entscheidungsmaschine, und seine Ausgaben dienten lediglich als Ausgangspunkt für die Diskussion nachfolgender Lösungen.

Als die Unternehmensleitung die vollständige Einführung des KI-Routenplanungssystems vorantrieb, argumentierten die Disponenten weder, dass das System fehlerhaft sei, noch weigerten sie sich, es zu nutzen. Stattdessen fügten sie Maßnahmen hinzu: Sie markierten sensible Güter, fügten Eskalationsschritte hinzu und senkten die Schwelle für die Auslösung von Prüfungen. Ein Disponent erklärte mir die Logik mit unumstößlicher Offenheit. Er sagte: „Wenn etwas schiefgeht mit einer Entscheidung, die das System getroffen hat, steht mein Name auf dem Bericht; wenn ich selbst einen Fehler mache, kann ich ihn zumindest erklären.“ Dieser Disponent war weder von dem KI-System gestresst noch fühlte er sich unsicher; er interpretierte nur die Verantwortungszuweisung korrekt.

Forschungen zur Bedrohung der beruflichen Identität zeigen, dass Praktiker echte Ängste um ihren sozialen Status, ihren beruflichen Wert und ihre zukünftigen Entwicklungsaussichten entwickeln, wenn ihre beruflichen Fähigkeiten durch Automatisierung ersetzt zu werden drohen. Diese Ängste beeinflussen ihr Verhalten, das weder irrational noch unbedeutend ist. Dennoch können sie nicht ein Phänomen erklären, das ich beobachtet habe: Es tritt auch dann auf, wenn Angst und Identitätsbedrohung abgebaut sind, das Veränderungsmanagement erfolgreich ist, psychologische Sicherheit reichlich vorhanden ist und Mitarbeiter offen zugeben, dass das System besser als sie selbst funktioniert. Der Kern des Problems liegt in einer strukturellen Risikoposition: Diejenigen, die angewiesen werden, den Anweisungen des KI-Systems zu folgen, müssen die Kosten für Fehler des Systems tragen.

Für KI-Agentensysteme ist dieses Problem besonders gravierend. Empfehlungssysteme wahren zumindest die Illusion der „menschlichen Kontrolle“: Das System gibt Vorschläge, der Mensch trifft die Entscheidung, und die Rechenschaftspflicht ist klar sichtbar (selbst wenn die Verantwortung eigentlich von anderen getragen werden sollte). KI-Agentensysteme brechen diese Illusion. Sie geben nicht nur Empfehlungen ab, sondern ergreifen direkt Maßnahmen. Sie führen Operationen wie Bestellungen, Genehmigungen, Routenplanung, Vertragsabschlüsse und Eskalation von Problemen innerhalb festgelegter Parameter durch – Operationen, die innerhalb der parameterbasierten Befugnisse liegen, aber oft keine kontinuierliche menschliche Überwachung aufweisen. Wenn ein KI-Agent innerhalb festgelegter Parameter handelt und negative Folgen verursacht, wird die Rechenschaftspflicht zu einer äußerst herausfordernden Frage: Wurden die Parameter falsch festgelegt? War der Befugnisbereich zu weit gefasst? Oder ist der Agent auf eine Situation gestoßen, die die Entwickler nicht vorhergesehen haben? Diese Fragen werden wiederholt in Vorstandssitzungen, Gerichtsverfahren und regulatorischen Anmeldedokumenten gestellt. Wenn das KI-System nur Empfehlungen abgibt, kann fehlende Rechenschaftspflicht durch Umgehungsmethoden ausgeglichen werden; wenn jedoch das KI-Agentensystem direkt Maßnahmen ergreift, kann es zu massiver Unklarheit bei der Zuweisung rechtlicher Verantwortung kommen.

Verlagerung der Verantwortung

Wirklich eingeführte automatisierte Systeme sind eindeutig: Der Entscheidungsprozess wird vereinfacht, Ausnahmen nehmen ab statt zu, Rechte und Pflichten werden neu verteilt, und die Menschen wissen klar, wer (oder welcher Mechanismus) für Entscheidungen verantwortlich ist, wer für die Erklärung verantwortlich ist und wer das Risiko trägt. Diese Klarheit kann Unbehagen auslösen, weil sie die Rollen aller dazu zwingt, sich zu verändern; aber langfristig bringt sie Stabilität, weil Rechte und Pflichten übereinstimmen.

Amazonas Programm „Hands off the Wheel“ (Hände vom Steuer) ist ein typisches Beispiel für Machtverlagerung. Das Programm begann 2012 als „Projekt Yoda“ mit dem Ziel, Nachfrageprognose, Preisgestaltung und Beschaffungsprognose in Workflow-Tools zu integrieren. Amazon trennte zwischen „Eingaberechten“ und „Ausgaberechten“: Obwohl Geschäftsteams Daten und Parameter festlegen können, werden routinemäßige manuelle Eingriffe nicht gefördert und erfordern manchmal eine Genehmigung vor der Ausführung. Der Schwerpunkt der Verantwortung der Lieferantenmanager verschob sich entsprechend von spezifischen Beschaffungs- und Preisentscheidungen hin zur Prüfung von Eingabedaten, Ausnahmen und Endergebnissen.

Diese Übergabe verlief reibungslos, weil die