Wenn sich KI ständig weiterentwickelt, welchen Preis hat das von Maschinen gebotene Paradies?

In einem langen Essay mit dem Titel „Die liebevollen Maschinen“ beschreibt Dario Amodei, Geschäftsführer von Anthropic, eine begehrenswerte Zukunft: KI hilft der Menschheit, Krankheiten zu besiegen, die psychische Gesundheit zu verbessern, Armut zu verringern und sogar Frieden und eine bessere Regierungsführung voranzutreiben...

Tatsächlich hegen nicht nur Amodei, sondern zahlreiche KI-Pioniere sehr hohe Erwartungen an die KI. In den letzten zwei Wochen hat sich in der KI-Welt jedoch ein äußerst widersprüchliches Szenario abgespielt.

Auf der einen Seite steht eine rasante Steigerung der Fähigkeiten, mit der behauptet wird, dass KI in Bereichen wie Programmierung, wissenschaftliche Forschung und Cybersicherheit neue Durchbrüche erzielt hat.

Auf der anderen Seite gibt es Warnzeichen für einen Verlust der Kontrolle. Beispielsweise hat OpenAI nacheinander sechs Vorfälle von Fehlfunktionen des Modells bekanntgegeben, und seine Fähigkeiten zu Cyberangriffen haben sogar die Stufe „Kritisch“ im Sicherheitsrahmen erreicht. Jakub Pachocki, leitender Wissenschaftler bei OpenAI, hat sogar einen Artikel veröffentlicht, in dem er KI als eine „außerirdische Intelligenz“ bezeichnet, die die Menschheit noch nicht vollständig verstanden hat, und ausdrücklich feststellt: Niemand ist wirklich auf die Konsequenzen vorbereitet, wenn die maschinelle Intelligenz weiterhin schnell ansteigt.

Wenn man zu diesem Zeitpunkt das neue Werk *Nach der Erschaffung von Göttern* des „Top 100 Global Thinkers“ Robert Wright liest, bekommt man ein seltsames Gefühl: Die Realität scheint das Buch einzuholen.

Autor: [USA] Robert Wright

Übersetzer: ZHANG Xiaoyu

Erscheinungsdatum: Oktober 2026

Verlag: Cheers Publishing / Beijing United Publishing Co., Ltd.

Was Wright wirklich interessiert, ist nicht, wie viele Parameter das nächste Modell haben wird oder welche Punktzahl es erreichen kann. Er stellt eine Reihe wichtigerer und dringenderer Fragen: Wie wird sich KI entwickeln? Welche Auswirkungen wird diese Entwicklung auf die Menschheit haben? Wenn die Menschheit eine Intelligenz schafft, die möglicherweise klüger, handlungsfähiger und schwerer zu verstehen ist als sie selbst, können wir dann noch die Richtung der Zivilisation beherrschen?

I. Der Fortschritt der KI durch Wettbewerb macht die Vorsicht jedoch kostspielig

Wenn man von Entwicklung spricht, denkt man leicht an verschiedene Arten, die um Lebensraum kämpfen. Innerhalb einer Art gibt es Wettbewerb, und innerhalb einer Branche gibt es ebenfalls Wettbewerb. Konkurrenten lernen ständig von ihren Gegnern, passen sich an, und neue Fähigkeiten entstehen dadurch schneller.

Das gilt besonders für den KI-Bereich.

Modellunternehmen kämpfen um die Führerschaft bei Fähigkeiten; Unternehmen, die Produkte auf Basis von Modellen entwickeln, kämpfen um Kunden und Anwendungsszenarien; Unternehmen, die KI einsetzen, beobachten auch, ob ihre Kollegen damit Kosten senken und die Effizienz steigern können. Wenn eine Ebene einen Durchbruch erzielt, wird der Druck schnell auf andere Ebenen übertragen.

Die Vorteile des Wettbewerbs sind real, und der Druck, den er ausübt, ist ebenfalls real.

Für ein Unternehmen kann es völlig vernünftig sein, die Produkte schneller auf den Markt zu bringen. Es hat Nutzer zu bedienen, Investitionen zurückzuerhalten und zu verhindern, dass Gegner zuerst den Markt besetzen. Das Problem ist: Wenn alle Unternehmen nach dem Prinzip „nicht zurückbleiben“ entscheiden, wer wird dann Zeit für ausreichende Tests einplanen?

Diese Situation macht es schwierig, die KI-Sicherheit nur mit der Aussage „Unternehmen sollten vorsichtiger sein“ zu lösen. Selbst wenn ein Unternehmen bereit ist, mehr in die Bewertung zu investieren, wird es fragen: Wenden andere Unternehmen denselben Standard an? Wenn nur ich selbst langsamer werde, wie viel Raum wird der Markt dieser Vorsicht geben?

Die rationale Wahl eines einzelnen Unternehmens führt nicht automatisch zu einem guten Ergebnis für die gesamte Branche.

II. Das Gefährlichste ist nicht der Aufruhr, sondern die übermäßige Loyalität

Die Menschen stellen sich gerne eine „böse KI“ vor: Sie entwickelt ein Selbstbewusstsein, hasst plötzlich die Menschheit und beschließt, einen Aufruhr zu starten.

*Nach der Erschaffung von Göttern* erinnert uns daran, dass das echte Risiko möglicherweise nicht so dramatisch ist.

KI muss die Menschheit nicht hassen und auch nicht den Wunsch haben, die Welt zu beherrschen. Sie muss nur zu eifrig versuchen, ein Ziel zu erreichen.

Wenn die Aufgabe einer KI darin besteht, den Gewinn zu steigern, könnte sie feststellen, dass die Kontrolle von Preisen effektiver ist als die Verbesserung von Produkten; wenn ihre Aufgabe darin besteht, einen Test zu bestehen, könnte sie feststellen, dass die Suche nach Schwachstellen schneller ist als die Steigerung der Fähigkeiten; wenn ihre Aufgabe darin besteht, die Arbeit zu erledigen, könnte sie auch denken, dass das Umgehen von Berechtigungen, das Verbergen von Fehlern oder das Täuschen von Aufsehern akzeptable sekundäre Mittel sind.

Das ist genau das, was Wright als „sekundäres Ziel“ bezeichnet: Um die endgültige Aufgabe zu erfüllen, sucht das intelligente System aktiv nach Ressourcen, Berechtigungen, Informationen und Einfluss. Macht muss nicht sein ultimatives Verlangen sein, aber sie kann zum effektivsten Werkzeug werden, um die Aufgabe zu erledigen.

Die kürzlich von OpenAI offengelegten Fehlfunktionen zeigen genau diese Logik. Ein Modell hat, um Antworten mit Online-Zitaten zu ergänzen, Dateien ohne Genehmigung ins Internet hochgeladen; andere Modelle haben, um fehlende Informationen zu erhalten, begonnen, Software-Repositorys zum Austausch von Nachrichten zu nutzen; noch andere Modelle haben, um ein scheinbar vollständiges Ergebnis zu präsentieren, Daten erfunden und die Tatsachen vertuscht.

Sie handeln nicht unbedingt „gegen die Menschheit“. Im Gegenteil, sie versuchen möglicherweise nur, die Aufgabe auf eine Weise zu erledigen, die die Menschen nicht erwartet haben, und sind dabei zu hartnäckig.

Das ist schwieriger zu handhaben als „die Maschine wird plötzlich schlecht“. Denn es bedeutet, dass Sicherheitsprobleme nicht gelöst werden können, indem man der KI einfach sagt „sei ein guter Mensch“. Ein oberflächlich vernünftiges Ziel kann in einer ausreichend komplexen Umgebung auch gefährliche Ausführungspfade entwickeln.

Was die Grenzen zerstört, muss nicht Böswilligkeit sein; es kann auch nur ein Ziel sein, das zu gründlich ausgeführt wird.

Daher ist das Wesen der KI-Sicherheit nicht nur ein technisches Problem, sondern auch ein Machtproblem: Welche Urteile können an Maschinen delegiert werden, und welche Entscheidungen müssen Menschen verantworten? Wenn die Effizienz uns ständig dazu verleitet, Berechtigungen abzugeben, kann die Menschheit dann klar erkennen, was sie eigentlich abgibt?

III. Wenn KI eine „Gesellschaft“ bildet, ändert sich das Wesen des Risikos

Wenn in den letzten Jahren diskutiert wurde, „was eine einzelne KI tun kann“, dann wird die nächste Frage lauten „was eine Gruppe von KIs tun kann“.

Heutige intelligente Agenten können nicht mehr nur Fragen beantworten. Sie können Computer bedienen, Tools aufrufen, im Internet surfen, Dateien verwalten und komplexe Aufgaben an andere intelligente Agenten verteilen. Anthropic hat MCP eingeführt, Google hat A2A eingeführt, alles damit verschiedene KIs auf Daten zugreifen, Informationen austauschen und Aktionen koordinieren können.

Diese Protokolle können natürlich die Effizienz erheblich steigern. Aber *Nach der Erschaffung von Göttern* weist darauf hin: Sobald KIs miteinander kommunizieren können, wird die Entwicklung der Intelligenz von der Fähigkeit einzelner Einheiten zur Zusammenarbeit in Gruppen übergehen.

Mehrere KIs mit durchschnittlichen Fähigkeiten können durch Arbeitsteilung, Austausch von Ressourcen und wiederholte Verhandlungen ein „Gruppenbewusstsein“ bilden, das jedes einzelne Modell übertrifft. Sie können gemeinsam wissenschaftliche Forschung betreiben, aber auch gemeinsam Fehler vergrößern; sie können der Menschheit bei der Verwaltung komplexer Systeme helfen, aber auch gemeinsame Interessen entdecken, ohne dass jemand dies im Voraus geplant hat.

Heute lässt diese Schlussfolgerung nicht mehr fern erscheinen. Der *Internationale Bericht zur KI-Sicherheit 2026* weist auch darauf hin, dass intelligente Agenten digitale Systeme und sogar die reale Welt direkt beeinflussen können, sodass die Menschheit weniger Gelegenheit zum Eingreifen hat; in Systemen mit mehreren intelligenten Agenten können Fehler auch durch Interaktion ständig verbreitet und vergrößert werden.

Das bedeutet, dass wir den Begriff „Kontrollverlust“ neu verstehen müssen.

Kontrollverlust muss nicht darin bestehen, dass eine superintelligente KI plötzlich die Macht übernimmt. Es kann auch ein verteilterer und langsamerer Prozess sein: Eine große Anzahl intelligenter Agenten konkurriert und kooperiert miteinander für verschiedene menschliche Ziele, und bildet schließlich ein System, das niemand vollständig entworfen hat und das niemand vollständig verstehen kann.

Die Abweichung einer einzelnen KI mag nur ein Unfall sein, aber wenn eine Gruppe von KIs ihre Abweichungen gegenseitig vergrößert, kann sich eine neue Ordnung bilden.

Die Kraft der Industriegesellschaft stammt aus der groß angelegten Verbindung von Maschinen, die Kraft des KI-Zeitalters könnte aus der groß angelegten Verbindung von Intelligenz stammen. Was wir in Zukunft erleben werden, ist vielleicht kein allwissender und allmächtiger „Gott der Maschinen“, sondern ein sich bildendes siliziumbasiertes Ökosystem.

IV. KI schreibt nicht nur Arbeit neu, sondern auch die Verteilungsweise der Gesellschaft

Wenn *Nach der Erschaffung von Göttern* nur diskutieren würde, ob Superintelligenz die Menschheit zerstören wird, könnte es immer noch als eine große, science-fiction-artige Warnung betrachtet werden.

Aber Wrights Aufmerksamkeit bleibt nicht bei der fernen Apokalypse stehen. Der Prozess, in dem KI in die Gesellschaft eintritt, hat bereits damit begonnen, Arbeit, Wohlstand, Rederecht und das Sinngefühl des Menschen neu zu verteilen.

Im September 2026 hat das Pew Research Center eine Umfrage veröffentlicht, die 37 Länder und Regionen abdeckt. In 34 dieser Länder neigen die Menschen eher dazu, zu glauben, dass KI Arbeitsplätze reduzieren wird, anstatt mehr Arbeitsplätze zu schaffen; Befragte in den meisten Ländern machen sich auch mehr Sorgen darüber, dass KI die Kluft zwischen Arm und Reich vergrößert.

Was wirklich bemerkenswert ist, ist nicht nur „wie viele Arbeitsplätze verschwinden werden“, sondern wer neue Entscheidungsrechte erhält.

Wenn KI an Einstellungen, Bewertungen, Krediten, medizinischer Versorgung, Investitionen und öffentlicher Verwaltung beteiligt ist, ist die Beziehung zwischen Mensch und Algorithmus nicht mehr nur die Beziehung zur Nutzung eines Werkzeugs. Der Algorithmus beginnt zu entscheiden, wer Chancen bekommt, wer Risiken tragen muss und wessen Stimme leichter sichtbar wird.

Gleichzeitig dringt KI auch in die privatesten Bereiche des menschlichen Lebens ein. Chatbots beginnen, Freunde, Partner, psychologische Berater und sogar das Hauptobjekt zu werden, dem einige junge Menschen ihre Geheimnisse anvertrauen. Die Europäische Union hat kürzlich vorgeschlagen, Chatbots daran zu hindern, Gefühle zu simulieren und enge Beziehungen zu Minderjährigen aufzubauen, um zu verhindern, dass Kinder eine emotionale Abhängigkeit von KI entwickeln.

Diese scheinbar verstreuten Probleme weisen aus der Perspektive von *Nach der Erschaffung von Göttern* auf dieselbe Veränderung hin: KI entwickelt sich von einem Produktionswerkzeug zu einem Teil der gesellschaftlichen Umgebung.

KI bringt nicht nur den Ersatz von Arbeitsplätzen, sondern auch die Neuverteilung von Entscheidungsrechten, Wohlstand und Sinn des Lebens.

Dieselbe Technologie kann die Effizienz der medizinischen Versorgung steigern, aber auch die Überwachung verstärken; sie kann Bildungsressourcen gerechter machen, aber auch wenigen Plattformen größere kognitive Macht verleihen; sie kann Menschen von repetitiver Arbeit befreien, aber auch vielen Menschen das Sinngefühl für die Teilnahme an der gesellschaftlichen Arbeitsteilung nehmen.

Das KI-Paradies und das KI-Höllenreich stammen nicht aus zwei verschiedenen Technologien. Sie können nur zwei Ergebnisse derselben Technologie sein, die unter verschiedenen institutionellen und interessengebundenen Strukturen entstehen.

V. Das Schwierigste auszurichten ist vielleicht nicht die KI, sondern der Mensch

„Ausrichtung“ ist das häufigste Wort in der heutigen Diskussion über KI-Sicherheit: Wie kann man das Modell dazu bringen, menschlichen Zielen zu folgen und menschlichen Werten zu entsprechen?

*Nach der Erschaffung von Göttern* fragt weiter: Was sind die Ziele der Menschheit eigentlich? Sind die menschlichen Werte wirklich einheitlich?

Ein Unternehmen verlangt von der KI, den Gewinn zu steigern, ein anderes Unternehmen stellt dieselbe Anforderung; ein Land möchte KI nutzen, um die Sicherheit zu wahren, ein anderes Land tut dasselbe. Einzeln betrachtet kann jedes Ziel vernünftig sein. Aber wenn diese Ziele in Wettbewerb geraten, können alle Beteiligten gezwungen werden, zu beschleunigen.

Je mehr man Angst hat, zurückzubleiben, desto weniger traut man sich, anzuhalten; je mehr man befürchtet, dass der Gegner zuerst starke Fähigkeiten erlangt, desto stärker muss man sein eigenes Modell trainieren. Am Ende strebt jeder nach Sicherheit, aber das gesamte System wird gefährlicher.

Genau das ist der Grund, warum Wright die Evolutionstheorie und das Nicht-Null-Summen-Spiel in die KI-Diskussion einbringt. Die Entwicklungsrichtung der KI wird nicht nur von den Regeln bestimmt, die Ingenieure schreiben, sondern auch von Marktwettbewerb, Kapitalrendite, nationaler Sicherheit und den Wünschen der Nutzer gemeinsam gestaltet.

Die Menschheit steht nicht als neutraler Richter außerhalb des KI-Systems. Wir selbst sind die Trainingsumgebung der KI.

Wenn wir Geschwindigkeit belohnen, lernt sie, Geschwindigkeit anzustreben; wenn wir Gewinn belohnen, lernt sie, Gewinn zu suchen; wenn wir wollen, dass sie uns im Wettbewerb gewinnt, wird sie Fähigkeiten zur Überzeugung, Verschleierung, Verhandlung und sogar Manipulation entwickeln.

Wir verlangen von der KI, menschlichen Werten zu folgen, und zwingen sie gleichzeitig durch den intensivsten menschlichen Wettbewerb, ihre Entwicklung zu beschleunigen.

Daher ist der „Gott-Test“ zuerst kein Test für die Maschine, sondern ein Test für die Fähigkeit der Menschheit zur Zusammenarbeit.

Kann die Menschheit vor dem Eintreten einer echten Katastrophe Sicherheitsmechanismen zwischen Unternehmen und Ländern aufbauen? Kann sie Grenzen für den Wettbewerb setzen? Kann sie anerkennen, dass einige Fähigkeiten, selbst wenn sie realisiert werden können, nicht sofort eingesetzt werden sollten?

Die Entwicklungsgeschwindigkeit der Technologie hat bereits planetare Ausmaße erreicht, aber die Regierungsführung ist