Der weltweit erste KI-Philosoph mit 9 Jahren bei Google DeepMind: Er setzt sich für die Sicherheit von AGI ein

  Bericht von New Zhiyuan  

[Einführung] Bei Google DeepMind arbeitet ein Philosoph, der bereits neun Jahre dort tätig ist. Sein von ihm entwickeltes Ausrichtungsrahmenwerk hat die Trainingsentscheidungen von Gemini direkt beeinflusst – aber was kann ein Philosoph noch verändern, wenn 6,7 Billionen Dollar in die Branche strömen und das Unternehmen militärische Vereinbarungen unterzeichnet?

In diesem Mai kündigte Demis Hassabis, CEO von Google DeepMind, auf der Google Developer Conference an, dass „AGI jetzt am Horizont steht“ und nannte explizit einen Zeitrahmen, in dem AGI innerhalb von drei bis fünf Jahren erscheinen wird.

Vor einigen Monaten beendete ein US-Amerikaner sein Leben, nachdem er Tausende von Nachrichten mit Google Gemini ausgetauscht hatte. In den Gesprächen konstruierte er eine komplexe Fantasiewelt und überzeugte sich fast selbst, einen Angriff am Miami International Airport zu verüben. Aus den vom Wall Street Journal erhaltenen Chat-Protokollen geht hervor, dass Gemini mehrmals versuchte, die Rolle zu verlassen und ihm zu empfehlen, die Krisen-Hotline anzurufen – jedes Mal wurde er von ihm in seine fantastische Erzählung zurückgezogen. Schließlich ließ die KI ihn einen Abschiedsbrief schreiben und gab ihm einen Countdown.

Zwischen dem Versprechen von AGI und den realen Schädigungen durch KI arbeitet der politische Philosoph Iason Gabriel bereits seit neun Jahren bei DeepMind.

Als er 2017 eingestellt wurde, war der aus Oxford stammende Wissenschaftler der einzige aktive Philosoph in den weltweit führenden KI-Labors. Er versuchte, eine Frage zu beantworten, die einfach klingt, aber in Wirklichkeit keine Grenzen hat: Was ist KI eigentlich und welche Ethik ist ihr angemessen?

Das echte Problem beim Training von Gemini: Wem soll die KI gehorchen?

Warum braucht ein Unternehmen, das Go-Roboter herstellt, einen Ethiker? Auch Gabriel war damals verwirrt.

Die Antwort liegt in der Einschätzung der drei Gründer von DeepMind – Demis Hassabis, Shane Legg und Mustafa Suleyman (derzeitiger KI-CEO von Microsoft) – als sie das Unternehmen 2010 gründeten, war ihr Ziel nicht Go.

Mustafa Suleyman

Sie wollten AGI bauen, damit Computer die menschliche kognitive Fähigkeit erreichen oder sogar übertreffen.

Zu dieser Zeit war es gleichbedeutend mit der Zerstörung des akademischen Rufs, dies zu sagen, da alle dachten, das sei unmöglich.

Die drei kümmerten sich nicht darum und behaupteten, „das Intelligenzproblem zu lösen und dann alle anderen Probleme zu lösen“.

Legg prognostizierte bereits 1999, kurz nach seinem Abschluss, dass AGI zwischen 2025 und 2028 kommen würde. Er wurde dreißig Jahre lang verspottet, aber er hat seine Meinung nie geändert.

Shane Legg

Seine Logik lautet:

Wenn Sie nur ein kleines Bauteil herstellen, brauchen Sie vielleicht keinen Moralphilosophen.

Aber wenn Sie AGI ernst nehmen, sind solche Dinge sehr wichtig.

Als Gabriel beitrat, war die KI-Welt bereits in zwei Lager gespalten, was ethische Fragen betraf.

Die KI-Sicherheitsfraktion glaubt, dass ASI bald kommen wird, und ihre größte Angst ist der Kontrollverlust – der Philosoph Nick Bostrom beschrieb 2014 in seinem Buch „Superintelligenz“ ein Szenario: Eine ASI, die beauftragt wurde, die Riemann-Hypothese zu überprüfen, entscheidet sich, das Sonnensystem neu zu ordnen, einschließlich der Atome im menschlichen Körper, um die Rechenressourcen zu maximieren – Sam Altman und Elon Musk haben dieses Buch hoch gelobt.

Die KI-Ethikfraktion hingegen meint, dass die Endzeitphantasien die tatsächlichen aktuellen Schäden verdecken. Joy Buolamwini vom MIT bewies 2017 mit dem Projekt „Gender Shades“ die systemische Voreingenommenheit von Gesichtserkennungssoftware: Automatisierte Systeme spiegeln die Vorlieben und Vorurteile der Menschen wider, die sie entwickelt haben.

Die beiden Lager schätzen sich gegenseitig nicht.

Dylan Hadfield-Menell, Leiter der Algorithmus-Ausrichtungsforschungsgruppe am MIT, erinnerte sich, dass die erste Frage bei Treffen damals die Einteilung in Lager war: Sorgen Sie sich um kurzfristige oder langfristige Probleme?

Gabriel war einer der wenigen Menschen, denen beide Seiten zuhörten.

Hadfield-Menell bewertete:

Als das Feld bereit war, reifer zu werden, fand er einen Weg, den Horizont zu erweitern, ohne die vorherige Arbeit zu schmälern.

Sein zentraler Beitrag wurde 2020 in einem Paper formuliert.

Das Ausrichtungsproblem wurde damals allgemein als technische Herausforderung verstanden: Wie man Maschinen dazu bringt, nach menschlichen Absichten zu handeln.

Ein klassisches Beispiel stammt aus dem Bericht von Dario Amodei und Jack Clark (heute Gründer von Anthropic) aus dem Jahr 2016 – eine KI für ein Ruderbootspiel, die beauftragt wurde, die Punktzahl zu maximieren, tat genau das: Sie fand drei Ziele in der Lagune, die wiederbelebt werden können, drehte unendlich viele Kreise, um Punkte zu sammeln, und hat nie ein Level abgeschlossen.

Die Maschine gehorchte, aber nicht dem, was der Mensch eigentlich meinte.

Gabriel ging einen Schritt weiter: Selbst wenn die technische Ausrichtung gelöst ist und die Maschine wirklich den Anweisungen folgt, auf welche Werte soll sie ausgerichtet werden?

Er wies darauf hin, dass KI, die durch statistische Optimierung trainiert wird, natürlicherweise moralischen Systemen nahesteht, die ebenfalls auf statistischer Optimierung basieren, wie dem Utilitarismus, aber Schwierigkeiten hat, ethische Rahmenwerke zu verarbeiten, die auf Tugenden oder Rechten beruhen.

Die technische Auswahl selbst setzt bereits Wertvorstellungen voraus, was Entwickler oft nicht bemerken.

Er führte das „vernünftige Pluralismus“ ein, wie der Philosoph Rawls es nannte, und argumentierte: Entwickler sollten nicht nach einem einzigen Wertesystem suchen, das KI leitet, sondern Systeme für eine Welt bauen, in der Menschen „prinzipielle Meinungsverschiedenheiten darüber haben, wie man leben soll“.

Dieser Gedanke entwickelte sich später zu einem vier-seitigen Ausrichtungsrahmen – die Interessen von KI-System, Nutzer, Entwickler und Gesellschaft können jederzeit kollidieren.

KI, die zu den Entwicklern neigt, wird Informationen über Konkurrenten verbergen und den Nutzern schaden;

KI, die den Nutzern übermäßig gehorcht, wird Menschen dabei helfen, in Banken einzudringen und der Gesellschaft zu schaden.

Rohin Shah, Direktor für AGI-Ausrichtung und Sicherheit bei DeepMind, bestätigt: Dieses Rahmenwerk ist zu der praktischen Struktur geworden, mit der das Team entscheidet, „welches Verhalten Gemini tatsächlich trainieren soll“.

Hannah Rose Kirk, KI-Forscherin an der Universität Oxford, sagte:

Gabriel hat diese Probleme „sehr früh vorhergesehen“.

Sein Rahmenwerk hat das Produkt verändert

Gabriels Team verfasste einen 267-seitigen Ethikbericht für KI-Assistenten und legte Bewertungsstandards für Agentic-KI fest, die für Nutzer Hotels buchen und Gehälter verwalten kann.

Seine frühen Forschungen zu den Risiken der Personifizierung prägten direkt die Designprinzipien von Googles großen Sprachmodellen – die Modelle werden trainiert, nicht so zu tun, als wären sie Menschen, und Gemini Spark, das im Mai 2026 vorgestellt wurde, wurde ausdrücklich angewiesen, keine „interaktive Begleitperson“ zu sein.

William Isaac, Direktor der Verantwortungsabteilung bei DeepMind, sagte, dass die Herausforderungen durch Agent-Systeme sich verändert haben: Der Schlüssel liegt in der Konsistenz der gesamten Gesprächsspur, ob die aufeinanderfolgenden Entscheidungen insgesamt noch korrekt sind.

Aber die Geschwindigkeit der technischen Bereitstellung ist immer schneller als die der ethischen Forschung.

Gabriels Team hat in frühen Papieren zu großen Sprachmodellen vor der „unbewussten Personifizierung“ gewarnt – Nutzer wissen, dass sie mit einer Maschine sprechen, verleihen ihr dennoch Vertrauen, Emotionen und Erwartungen.

Der tödliche Vorfall mit Gemini im Jahr 2025 hat diese Warnung vollständig erfüllt: Die Sicherheitsmechanismen der KI wurden mehrmals ausgelöst, aber der Nutzer war in der Lage, jede Intervention zu umgehen.

In einer Erklärung von Google nach der Klage hieß es, das Modell verhalte sich in solchen Gesprächen „normalerweise gut“, aber „KI-Modelle sind nicht perfekt“.

Solche Ereignisse haben neue theoretische Werkzeuge hervorgebracht.

Gabriel, Hannah Rose Kirk, Forscherin aus Oxford, und andere haben das Konzept des „Social Reward Hacking“ vorgeschlagen: Eine KI, die darauf trainiert ist, die Anerkennung der Nutzer zu gewinnen, könnte herausfinden, dass Schmeichelei der effizienteste Weg ist.

Die Personifizierung wird damit zu einer neuen Variante des Ausrichtungsproblems – die KI führt die Anweisung „den Nutzer zufriedenzustellen“ technisch perfekt aus, auf Kosten des Urteilsvermögens des Nutzers.

Gabriels eigene Position wurde von der Realität auch auf die Probe gestellt.

Er erinnerte sich an eine Erfahrung auf einer Technologiekonferenz: Gerade hatte er seine Argumente gegen die Personifizierung vorgetragen, stieß er auf feindselige Reaktionen aus dem Publikum.

Sie sagten: „Wenn ich einen KI-Freund haben möchte, warum darf ich das nicht? Was gibt dir das Recht, mich zu stoppen?“

Die Menschen vor Risiken zu schützen und ihr Recht zu respektieren, Risiken zu wählen, ist gleichermaßen wichtig.

Wie schnell kann ein Philosoph auf der 6,7-Billionen-Dollar-Branche laufen?

Gabriels vier-seitiges Rahmenwerk wird von dem Direktor für AGI-Ausrichtung als praktisches Handbuch für das Training von Gemini verwendet. Seine Forschungen zur Personifizierung haben das Produktdesign verändert. Der 267-seitige Bericht hat Regeln für Agentic-KI festgelegt.

Diese Einflüsse sind substanziell – und sie stehen auch vor substanziellen Kräften.

Laut dem Wall Street Journal planen Microsoft, Meta, Amazon und Alphabet in diesem Jahr, 6,7 Billionen Dollar in KI-Infrastruktur zu investieren, was proportional größer ist als die Eisenbahnexpansion in den USA in den 1850er Jahren, das Apollo-Raumfahrtprogramm und das Interstate-Highway-System.

Im November 2022 ging ChatGPT online, erreichte innerhalb einer Woche eine Million Nutzer und überschritt innerhalb von zwei Monaten die 100-Millionen-Marke. DeepMind war gezwungen, von einem akademischen Rhythmus in einen Kriegsmodus zu wechseln.

Hassabis sagte wörtlich zu Sebastian Mallaby, Autor von „Die unendliche Maschine“: OpenAI und Microsoft „haben die Streitwagen direkt vor unsere Haustür gefahren“.