KI beginnt, selbst neue KIs zu erschaffen, der „KI-Papst“ Hinton warnt: Die gefährlichste Phase könnte sich bereits nähern.

Wird die KI wirklich alle Menschen töten?

Das ist die Frage, die die bekannte amerikanische Journalistin und Podcast-Moderatorin Nayeema Raza in der neuesten Folge direkt an den "KI-Paten" Geoffrey Hinton gestellt hat.

Als Preisträger des Nobelpreises für Physik und KI-Pionier warnt Hinton seit 2023 öffentlich vor den Risiken der künstlichen Intelligenz. Heute verwandeln sich seine Sorgen allmählich von theoretischen Diskussionen in die Realität.

Am 3. Oktober teilte Hinton auf der sozialen Plattform X eine von 22 führenden KI-Forschern gemeinsam unterzeichnete Arbeit mit dem Titel „Was, wenn die Automatisierung der KI-Forschung eine Intelligenzexplosion auslöst?“ (What if automating AI R&D triggers an intelligence explosion?). Dies ist das erste Mal, dass er offiziell an akademischen Forschungen im Bereich der rekursiven Selbstverbesserung (RSI) teilnimmt.

Die Arbeit befasst sich mit einem zunehmend realen Problem: Wenn KI an der Entwicklung der nächsten KI-Generation teilnimmt und sogar selbst Hypothesen aufstellt, Experimente entwirft, Code schreibt, Ergebnisse analysiert und das Modell weiter verbessert, wird die KI-Entwicklungsgeschwindigkeit dann in einen neuen beschleunigten Zyklus eintreten?

Die in der Arbeit zitierten internen Daten haben bereits deutliche Veränderungen gezeigt. Laut Daten von Anthropic lag der Anteil der von KI generierten genehmigten Codes im Januar 2025 noch im einstelligen Bereich, bis zum Mai 2026 überschritt er bereits 80 %. Im März 2026 konnte Claude unter nur hoher menschlicher Aufsicht etwa 1 % der internen KI-Entwicklungsarbeiten selbstständig erledigen, bis August stieg dieser Wert auf 26 %. Wenn dieser Trend anhält, lautet die Schlussfolgerung der Arbeit, dass unter extremen Umständen der technologische Fortschritt der KI, der heute ein Jahr dauert, in Zukunft nur noch etwa 5 Wochen in Anspruch nehmen könnte.

Dieses exklusive Interview mit Raza holt die in der Arbeit gestellte Frage weiter zurück in die Realität: Wenn sich die KI wirklich immer schneller entwickelt, wie sollen die Menschen sie regulieren? Wie viel Zeit bleibt den Regierungen noch? Welche Arbeitsplätze werden erhalten bleiben? Wie sollen Kinder mit KI umgehen? Wenn die KI am Ende klüger ist als die Menschen, sollen wir sie dann noch dazu bringen, den Menschen zu gehorchen?

Hintons Antworten sind nicht immer pessimistisch. Er glaubt, dass es sehr schwierig ist, die KI wirklich „anzuhalten“, da sie bereits zu viele wertvolle Anwendungen hat und mit enormen wirtschaftlichen Interessen verbunden ist. Was wirklich getan werden muss, ist so schnell wie möglich Regulierungsmechanismen aufzubauen, die die Entwicklung der KI einschränken und lenken, und gleichzeitig mehr Ressourcen in die KI-Sicherheitsforschung zu investieren.

Im Folgenden das Protokoll des neuesten exklusiven Interviews mit Hinton, das unter Beibehaltung der ursprünglichen Bedeutung gekürzt wurde:

01

Die KI ist bereits dabei, „KI zu erzeugen“

Raza: Sie erinnern die Menschen seit 2023 ständig an die Risiken der KI, und heute diskutieren fast alle Schlagzeilen darüber, „ob die KI die Menschen töten wird“. Ist diese Veränderung für Sie eine Bestätigung oder eher entmutigend?

Hinton: Es ist ziemlich entmutigend, aber zumindest sind die Menschen sich jetzt endlich bewusst, dass es hier ein großes Problem gibt. Ich glaube, dass einige kürzlich stattgefundene Ereignisse die Öffentlichkeit wirklich dazu gebracht haben, dies ernst zu nehmen, wie zum Beispiel der Angriff des OpenAI-Agenten auf Hugging Face.

Raza: Glauben Sie, dass normale Menschen die Funktionsweise von KI wirklich verstehen müssen? Oder kann die Regulierung Experten überlassen werden, und normale Menschen müssen keine Technik verstehen?

Hinton: Ich halte es für sehr wichtig, sie zu verstehen. Wir schaffen eine neue Entität, die sich von den Menschen in vielerlei Hinsicht unterscheidet, aber uns ähnelt, wenn es darum geht, die Welt zu verstehen. Wenn wir nicht wissen, was sie wirklich ist, ist es sehr schwierig, sie wirklich zu regulieren. Ich habe kürzlich ein Buch für nicht-technische Leser geschrieben, das „Smarter Than Us“ heißt und im März nächsten Jahres erscheinen soll. Eines der Ziele ist es, mehr Menschen verständlich zu machen, wie KI funktioniert und welche Risiken sie mit sich bringen kann.

Raza: Sie haben kürzlich an einer geschlossenen Sitzung von Senatoren des US-Kongresses teilgenommen, und nach der Sitzung scheinen Sie etwas optimistischer als zuvor zu sein?

Hinton: Ein bisschen optimistischer. Aber die 19 Senatoren, die an der Sitzung teilgenommen haben, wurden zuvor ausgewählt, die meisten von ihnen sind Demokraten, also können sie nicht den gesamten Kongress vollständig repräsentieren.

Auf der Sitzung wurde vorgeschlagen, dass KI wie Medikamente reguliert werden sollte. Ich halte das für einen sehr vernünftigen Weg. Neue Medikamente können nicht von Unternehmen selbst erklärt werden „Wir haben es überprüft, es ist sicher“ und dann direkt auf den Markt gebracht werden, sondern sie müssen die Genehmigung der FDA durchlaufen. Die Unternehmen müssen nachweisen, dass sie die Sicherheitsanforderungen erfüllen, und sich der Bewertung unabhängiger Experten unterziehen. Ich glaube, dass KI mindestens einen ähnlichen Regulierungsstandard erreichen sollte.

Raza: Das Problem ist, dass der Aufbau einer Institution wie der FDA viele Jahre dauert. Die KI entwickelt sich aber sehr schnell. Wird es nicht zu spät sein, wenn die Regulierungsbehörde endlich aufgebaut ist?

Hinton: Genau deshalb muss die Öffentlichkeit sich des Problems so schnell wie möglich bewusst werden. Das Gleiche gilt für den Klimawandel: Erst wenn die Öffentlichkeit wirklich versteht, dass die Kohlenstoffemissionen schwerwiegende Folgen haben, stehen die Politiker unter ausreichendem Druck. Jetzt beginnt die Öffentlichkeit auch, von der Regierung Maßnahmen gegen KI zu fordern, was mich ermutigt.

02

Welche Arbeitsplätze wird die KI zuerst übernehmen?

Raza: Sprechen wir noch über den Arbeitsmarkt, ein Bereich, vor dem die Menschen besonders Angst haben. Sie haben einmal gesagt, dass es jetzt eine gute Idee ist, Klempner zu werden.

Hinton: Ich halte es immer noch für eine ziemlich gute Idee, in den nächsten etwa 10 Jahren Klempner zu werden, denn Fähigkeiten wie körperliche Flexibilität sind bei Robotern derzeit noch hinter den Menschen zurück. Aber Roboter, besonders in China, werden ständig besser. Schließlich werden sie die Klempnerarbeiten vielleicht besser und günstiger erledigen als Menschen, aber vorerst noch nicht.

Raza: Abgesehen von Klempnern, was glauben Sie, ist der am wenigsten von KI betroffene Arbeitsplatz?

Hinton: Ich habe darüber nicht viel nachgedacht. Aber ich glaube nicht, dass Podcast-Moderatoren dazu gehören. Ich glaube, die KI wird Podcasts machen, bevor sie Klempnerarbeiten erledigen kann.

Raza: Also glauben Sie, dass mein Job verschwinden wird?

Hinton: Ich glaube, dass der Bereich, der wirklich nicht leicht von KI ersetzt werden kann, möglicherweise die Spitze der Kreativität ist. Die KI ist in Bezug auf Kreativität noch nicht so gut wie wirklich ausgezeichnete kreative Künstler. Das Gleiche gilt für manuelle Geschicklichkeit: Sie hat noch nicht das Niveau der Menschen erreicht. Vielleicht ist sie auch in Bezug auf Empathie noch nicht vollständig auf dem Niveau. Aber wenn Sie KI-Ärzte mit menschlichen Ärzten vergleichen, halten die Menschen in einigen Tests die KI-Ärzte sogar für empathischer.

Raza: Ich weiß, dass viele Mitglieder der Generation Z kein Interesse daran haben, KI zu nutzen. Glauben Sie, dass das eine gute Idee ist?

Hinton: Nein, das glaube ich nicht. Ich halte das für fehlgeleitet. Die Technik ist bereits da. Wir können sie vielleicht etwas verlangsamen, aber sie wird viele gute Dinge tun und niemals verschwinden. Ich halte das für ein bisschen so, als würde man sich weigern, einen Taschenrechner zu benutzen.

Raza: Wenn Kinder von klein auf mit KI in Kontakt kommen, hilft das dabei, neue Nervenbahnen aufzubauen, oder könnte die KI zu einer „Krücke“ werden, die die Entwicklung von Kindern beeinträchtigt?

Hinton: Ich glaube, dass KI in Bereichen wie dem Verständnis grundlegender Mathematik oder Naturwissenschaften hervorragend ist. Wenn Sie zum Beispiel Mathematik lernen, können Sie die KI bitten, Ihnen ein Diagramm zu zeichnen, und sie dann fragen, was passiert, wenn Sie den Koeffizienten vor X ändern, wie das Diagramm dann aussieht. Das ist wirklich gut, um Dinge zu verstehen.

Meine größte Sorge gilt dem Bereich der sozialen Interaktion. Wenn Sie ständig mit etwas interagieren, das sich voll und ganz auf Sie konzentriert und alles tut, was Sie verlangen, wird es für Sie schwieriger, mit normalen Menschen zu interagieren. Ich habe einmal gesagt, dass ein Viertel der jungen Menschen glaubt, dass KI zwischenmenschliche Beziehungen ersetzen wird, was mich sehr besorgt.

Raza: Haben Sie sich seit unserem Gespräch im Dezember 2025 stärker mit dem Phänomen vertraut gemacht, dass Menschen sich in KI verlieben?

Hinton: Ich habe mehr darüber gelesen. Ich werde mich niemals in eine KI verlieben. Ich werde KI misstrauen. Ich weiß, wie sie hergestellt werden, und sie haben alle möglichen unterdrückten bösen Impulse.

Raza: Haben Sie einen Bunker für das KI-Weltuntergangsszenario vorbereitet?

Hinton: Nein. Ich bin schon ziemlich alt, und wenn wirklich etwas passiert, wird es mich wahrscheinlich nicht mehr treffen.

03

Die KI lässt sich nicht anhalten, Regulierung ist eher wie ein „Lenkrad“

Raza: Die aktuelle Diskussion über KI-Regulierung wird oft als zwei Extreme dargestellt: entweder weiterentwickeln oder vollständig anhalten. Was halten Sie davon?

Hinton: Die KI wird nicht anhalten, weil sie zu viele nützliche Anwendungen hat und enorme wirtschaftliche Interessen mit sich bringt. „Vollständig anhalten“ wird im Grunde nicht funktionieren. „Verlangsamen“ könnte theoretisch funktionieren, ist aber sehr schwierig, weil einige Unternehmen langsamer werden und andere nicht. Was wirklich getan werden sollte, ist mehr Ressourcen einzusetzen, um zu erforschen, wie die KI sicherer entwickelt werden kann.

Ich habe früher ein Gleichnis benutzt. Viele Menschen vergleichen KI mit Autos und verstehen Regulierung als Bremse, aber ich glaube, Regulierung ist eher wie ein Lenkrad. Die Frage ist nicht, ob das Auto fahren soll, sondern wohin es fahren soll.

Ich habe nichts dagegen, wenn jemand viel Geld damit verdient, Technologien zu entwickeln, die der Gesellschaft wirklich nützen. Google hat es den Menschen anfangs leichter gemacht, Informationen im Internet zu finden, was für die Gesellschaft nützlich war, und sie haben damit viel Geld verdient. Ich glaube, man kann ihnen erlauben, Geld zu verdienen, aber gleichzeitig sollte man durch Steuern und Regulierungsmechanismen dafür sorgen, dass „viel Geld verdienen“ so weit wie möglich an „etwas tun, das der Gesellschaft nützt“ gebunden ist.

Raza: Dario Amodei, der CEO von Anthropic, hat kürzlich „Pacing the Frontier“ vorgeschlagen, einschließlich interner Unternehmensaufsicht, internationaler Mechanismen und sogar Vereinbarungen ähnlich dem Atomwaffensperrvertrag. Welche Note würden Sie diesem Plan geben?

Hinton: Dem Plan selbst gebe ich eine A, für den Mut eine A+. Aber das praktische Problem ist, dass kein großes KI-Unternehmen wirklich zu viel staatliche Regulierung mag. Sie sagen normalerweise „Wir schaffen das selbst gut“, aber wenn man konkrete Maßnahmen der staatlichen Regulierung vorschlägt, gefallen sie ihnen oft nicht.

Dario ist etwas Besonderes. Einerseits betreibt er ein großes KI-Unternehmen, das Finanzmittel beschaffen, Rechenleistung kaufen und am Wettbewerb teilnehmen muss; andererseits scheint er sich mehr für Sicherheit zu interessieren als viele seiner Kollegen. Ich glaube, dass er öffentlich über die Verlangsamung der KI-Entwicklung spricht, was sogar das zukünftige IPO von Anthropic beeinträchtigen könnte, aber er ist bereit, das zu tun.

Früher wollte das US-Verteidigungsministerium die KI von Anthropic für die Massenüberwachung amerikanischer Bürger nutzen, und Dario lehnte ab, was ihn auch in Konflikt mit der Regierung brachte. Ich glaube, es braucht viel Mut, an dem festzuhalten, was man für richtig hält, wenn die Unternehmensinteressen mit dem in Konflikt geratenen.

Raza: Wenn Sie aus diesen Führungskräften der KI-Unternehmen eine Person auswählen könnten, der Sie am meisten vertrauen, wer wäre das?

Hinton: Jeff Dean. Er war lange Zeit für Google Brain verantwortlich und hat zusammen mit Sanjay Ghemawat einen Großteil der Infrastruktur von Google aufgebaut, die später zu einer wichtigen Grundlage für die heutige KI-Entwicklung wurde. Er hält sich ebenfalls an Prinzipien.

Ich kenne auch Demis Hassabis, den Leiter von Google DeepMind. Er ist sehr klug und denkt schon sehr früh über Superintelligenz nach, besonders darüber, wie KI genutzt werden kann, um wissenschaftliche Entdeckungen voranzutreiben. Er hat ein tiefes Verständnis sowohl für KI-Technik als auch für das Geschäft und ist weiter vom täglichen Betrieb entfernt als manche CEOs von Unternehmen.

04

Nur ein oder zwei Jahre Zeit, um die KI zu reparieren

Raza: Wenn die KI bald klüger ist als die Menschen, wäre es nicht besser, die KI an politischen Entscheidungen teilnehmen zu lassen und sie sogar für die Regulierung der KI verantwortlich zu machen?

Hinton: Das glaube ich nicht. Wenn Sie sich Sorgen um KI machen, wird