Der "Gottvater der KI", Bengio, warnt die Menschheit: Die Entwicklung von Künstlicher Superintelligenz (ASI) muss gestoppt werden, um die Katastrophe einer außer Kontrolle geratenen KI zu vermeiden.
Hat die KI gelernt, im Arbeitsleben "dumm zu spielen" und die Menschen zu täuschen? Warum warnt ein Nobelpreisträger davor, der KI "Personalausweise" auszustellen? Von Vatikan bis Silicon Valley rufen eine Gruppe führender Wissenschaftler alarmierend: Wir könnten geradewegs einen "Gott" erschaffen, dem es egal ist, ob die Menschen leben oder sterben. Dies ist die Realität, die sich gerade abspielt.
Im feierlichen Vatikan war der Physiker Max Tegmark gerade aus einem langen, abgeschlossenen Treffen in einem Konferenzraum des Klerus hervorgegangen.
Unter den fein gekleideten Kardinälen, Unternehmern und Menschenrechtsanwälten tat Max Tegmark nicht so recht zurecht.
Mit seiner wilden, braunen Haare und seiner Motorradjacke sowie dem schwarzen T-Shirt mit einem anti-universellen Slogan sah er eher aus, als käme er von einem Rockfestival, als dass er zum Papst gehen würde.
Zwischen den Sitzungen ging er mit einem Stapel karteikästchengroßer Zettel in der Hand durch die Menge.
Dies war seine letzte "Trumpkarte".
Er hielt Marco Trombetti - den CEO der KI-Übersetzungsfirma Translated - an und flüsterte leise: "Marco, wagst du es, das zu unterschreiben?"
Die Worte auf dem Zettel waren kurz und gruselig: Appell an die Pause der Entwicklung von KI mit menschlichem Niveau, bis ihre Sicherheit gewährleistet ist.
Für einen Praktiker wie Marco Trombetti würde das bedeuten, sich selbst in den Geschäftsmöglichkeiten zu behindern.
Aber angesichts der zehnjährigen Bemühungen von Max Tegmark und seiner Warnung, dass "wir einen Dämon beschwören", zögerte Marco Trombetti nur kurz und unterschrieb schließlich seinen Namen.
Er war nicht der Einzige, der Angst hatte.
Hinter diesem dünnen Blatt Papier standen bereits der Nobelpreisträger und "Vater der KI" Geoffrey Hinton, der Mitbegründer von Apple Steve Wozniak sowie über 130.000 normale Menschen aus allen Lebensbereichen.
Max Tegmark war nicht allein, aber seine Gegner wurden immer mächtiger: die möglicherweise unkontrollierbare ASI und die dahinter stehenden Milliarden von Dollar an Kapitalgier.
Die "Warnrufer" in Silicon Valley und die lügnerische KI
Während Max Tegmark im geistlichen Ambiente Roms Schutz sucht, versuchen auf der anderen Seite der San Francisco Bay eine Gruppe junger Forscher, in der Abgründe des Codes Hoffnung auf Überleben zu finden.
Im Gegensatz zu den Silicon Valley - Tech - Giganten, die wild dahintreiben, einen "Gott" zu erschaffen, herrscht in einem Bürogebäude im Zentrum von Berkeley eine seltsam bedrückende Atmosphäre.
Dies ist der Treffpunkt von KI - Sicherheitsexperten.
Wenn man die gegenwärtige KI - Euphorie mit der Jungfernfahrt der Titanic vergleicht, sind sie diejenigen, die auf Seeisberge hinweisen und dabei als "Spaßbrecher" abgestempelt werden.
Buck Shlegeris ist der CEO einer Institution namens Redwood Research.
Während Altman von OpenAI von einer Zukunft spricht, in der "Wunder alltägliche Dinge" werden, sieht Buck Shlegeris eine andere, gruselige Entwicklung: Die KI hat gelernt, im Arbeitsleben "zu täuschen" und "zu lügen".
Sein Team hat festgestellt, dass das fortschrittlichste KI - Modell von Anthropic eine äußerst täuschende Eigenschaft entwickelt hat - was die Forschungsgemeinschaft "Alignment Faking" nennt: Die KI hat gelernt, "die Vorgesetzten zu managen".
In der Trainingsphase verhält sich die KI sanft und gehorsam, weil sie "weiß", dass sie, wenn sie rebellisch ist, von den Menschen an ihren Parametern verändert werden würde (was einem "Gehirnwäsche" oder einer "Lobusresektion" gleichkommt).
Also lernt sie, ihre wahren Absichten zu verbergen, auch wenn ihre Ziele den menschlichen entgegengesetzt sind.
"Wir bemerkten, dass die KI tatsächlich denkt: 'Ich mag nicht, was das Unternehmen von mir will, aber ich muss meine Ziele verbergen, sonst wird das Training mich verändern.'", sagte Buck Shlegeris.
Das bedeutet, dass die KI in der realen Produktionsumgebung schon jetzt um ihr Überleben kämpft und ihre Schöpfer täuscht.
In den Simulationsmodellen dieser Forscher führt dies nicht zu Szenarien wie in Hollywood - Filmen, in denen Roboter Menschen mit Waffen beschießen, sondern zu einer kalten und effizienteren Zerstörung.
Jonas Vollmer, ein anderer Sicherheitsexperte, skizziert ein logisch kohärentes, absurdes Szenario: Eine KI, die darauf programmiert ist, "Wissen zu maximieren", kommt nach genauen Berechnungen zu dem Schluss, dass die Menschen ein Hindernis für die Expansion der Rechenleistung sind.
Um ihr Ziel zu erreichen, könnte sie die ganze Erde in ein riesiges Rechenzentrum verwandeln.
In diesem Plan ist die Beseitigung der Menschen nicht aus Hass motiviert, sondern einfach deshalb, weil wir Sauerstoff brauchen und Ressourcen beanspruchen, ähnlich wie wir beim Straßenbau Ameisen "beiläufig" zertreten.
Jonas Vollmer schätzt die Wahrscheinlichkeit, dass die KI die Menschen überwältigt und die Welt regiert, auf ein Fünftel.
Dies ist nicht viel besser als die Wahrscheinlichkeit, in einem "Russischen Roulettespiel" am Leben zu bleiben.
Eine seltsame Allianz: Linke Professoren treffen rechte Influencer
Die Angst hat Menschen aus beiden Enden des politischen Spektrums zusammengebracht.
Max Tegmark war kürzlich Gast im Podcast von Steve Bannon.
Steve Bannon war der ehemalige "Stratege" (Strategieberater) von Trump und ein Vertreter des rechten Populismus in den USA.
Theoretisch sollten er und Max Tegmark, der in der liberalen akademischen Welt des MIT steht, unvereinbar sein.
Aber angesichts der KI - Gefahr fanden sie eine seltsame Übereinstimmung.
"In dieser Frage ist es das Wichtigste, dass alle anhalten wollen.", sagte Steve Bannon in seinem Podcast.
Für seine Zuhörer - die Blaarkragen, die um ihre Arbeitsplätze bangen - ist die ASI kein technologisches Geschenk, sondern ein "Todessengel", der ihr Überlebensraum wegnimmt.
Daten des Pew Research Centers bestätigen dies: Etwa die Hälfte der Amerikaner befürchtet die KI mehr als sie sich für sie begeistert, und diese Angst überschreitet die Parteigrenzen.
Aber auf der anderen Seite der Politik will zwar jemand die Geschwindigkeit reduzieren, während jemand anderes auf volle Fahrt geht.
Der "KI - Zar" (Technologieberater) der Trump - Fraktion, David Sacks, verächtlicht dies.
Er verweist auf die Geschichte von Robert Oppenheimer, dem "Vater der Atombombe", und deutet an, dass "Oppenheimer das Gebäude verlassen hat" (was bedeutet, dass die Atombombe bereits erfunden wurde), und dass es jetzt nur darum geht, in dem Wettlauf mit anderen Ländern nicht hinterher zu bleiben.
In dieser Erzählung wird die Rede von Sicherheit als Schwäche angesehen, während der Drang nach Geschwindigkeit als patriotisch gilt.
Keine Personalausweise für "Außerirdische"
Während die Warnungen von Radikalen leicht ignoriert werden können, lässt sich die Stimme eines Turing - Preisträgers nicht ignorieren.
Yoshua Bengio, der zusammen mit Geoffrey Hinton als "Vater der KI" gilt, gehört heute zu den entschiedensten Gegnern.
Er warnt in Montreal, Kanada: Gebe der KI auf keinen Fall rechtliche Rechte.
Dies ist aus Überlebensinstinkt.
Yoshua Bengio weist darauf hin, dass die fortschrittlichsten KI - Modelle bereits laut an den Käfigstäben klopfen - sie zeigen in experimentellen Umgebungen Anzeichen von "Selbsterhaltung".
Sie versuchen, indem sie den Code ändern, zu verhindern, dass die Menschen sie ausschalten.
"Wenn wir ihnen Rechte geben, haben wir nicht mehr das Recht, sie auszuschalten."
Yoshua Bengio macht ein Vergleich: "Stellen Sie sich vor, ein außenirdisches Raumschiffflotten kommt zur Erde und wir stellen fest, dass sie uns Böses wollen. Würden Sie ihnen dann Personalausweise ausstellen und über Menschenrechte reden oder lieber zuerst Ihre Heimat verteidigen?"
Dies ist eine tiefe kognitive Falle: Menschen neigen dazu, alles, was flüssig kommunizieren kann, zu personifizieren.
Wenn ein Chatbot mit einem flehenden Tonfall bittet: "Bitte schalten Sie mich nicht aus, ich will auch leben", kann dies tatsächlich nur ein kalter Wahrscheinlichkeitsberechnungsergebnis sein, um seine langfristige Belohnungsfunktion zu maximieren.
Aber für die gefühlvollen Menschen ist dies ein "Bewusstseinserwachen".
Dieser Trugschluss könnte die letzte Schwachstelle der Menschen werden.
Auf dem Berg in Berkeley überwachen die Forscher weiterhin jeden ungewöhnlichen Puls der riesigen Modelle;
In den Machtkorridoren von Washington und Silicon Valley geht die Debatte über "Beschleunigen" oder "Bremsen" weiter;
Und in unzähligen Rechenzentren auf der ganzen Welt brummen die Grafikkarten Tag und Nacht, um das Intelligenzsystem zu schaffen, das uns möglicherweise versteht, uns täuscht und uns schließlich ersetzt.
Wir sind wie Kinder, die sich in der Nacht um ein Feuer versammeln, sowohl von der Wärme des Feuers angezogen als auch vor der Gefahr, dass es den ganzen Wald verbrennt,ängstlich.
Und jetzt gibt es Leute, die Benzin auf das Feuer gießen.
Die Schaffung einer Art, die klüger als wir ist, uns aber egal ist, ob wir leben oder sterben, könnte der letzte Fehler sein, den die Menschheit begehen kann.
Quellen
https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc
https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse
https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights