StartseiteArtikel

Der alte Huang ist vor Wut außer sich und attackiert A\ scharf, der 27-jährige Forscher erklärt, dass KI alle Menschen töten wird.

新智元2026-09-14 16:26
Die Debatte um KI-Sicherheit verlagert sich von der Glaubensfrage zur Frage der Nachweisbarkeit.

Jensen Huang hat es schließlich nicht mehr ausgehalten.

Letzte Woche auf der Communacopia-Konferenz von Goldman Sachs hat Jensen Huang direkt auf den Kündigungsbeitrag reagiert, der ganz Silicon Valley in Aufregung versetzte —

Absurd, völlig unwahr und überheblich.

Die Person, die er kritisiert, heißt Jacob Coxon und ist 27 Jahre alt.

In dem Beitrag, der 160 Millionen Menschen gesehen hat, hinterließ Coxon eine schockierende Aussage: „Sie stürzen sich auf selbstverbessernde Superintelligenz und setzen dabei das Schicksal der gesamten Menschheit aufs Spiel.“

Noch absurder geht es weiter.

Evan Hubinger, der Leiter für Ausrichtungswissenschaft bei Anthropic selbst, hat direkt unter dem Beitrag kommentiert.

Jacob hat recht, wir sind wirklich der festen Überzeugung, dass die KI alle Menschen töten könnte, meiner persönlichen Meinung nach liegt die Wahrscheinlichkeit des Aussterbens innerhalb von zehn Jahren bei über 10 %.

Der Sicherheitsleiter hat persönlich eine Wahrscheinlichkeit für das Aussterben der Menschheit angegeben … ist das noch das Anthropic, das ständig von „Sicherheit“ spricht??

In dieser verrückten Woche trat eine dritte Person auf den Plan.

Ein Spitzenfachmann, der im Juli gerade die Fields-Medaille erhalten hat, hat direkt nach der Preisverleihung angekündigt, keine reine Mathematik mehr zu betreiben.

Diesmal kündigte er die Gründung eines Forschungsinstituts an, mit einem ganzen Raum voller Mathematiker „KI-Sicherheit“ in ein streng beweisbares mathematisches Problem zu verwandeln.

Er ging, obwohl er nur noch zwei Monate bis zu seinen Aktienoptionen hatte

Coxon ist Brite und hat an der Universität Cambridge Mathematik studiert.

Nach drei Jahren Arbeit im Bereich Vortraining bei OpenAI wechselte er Anfang 2026 zu Anthropic, wo er insgesamt nur 4 Monate blieb.

Die Vesting-Periode für die Anteile von Anthropic beträgt 6 Monate, nur 2 Monate fehlten, und der junge Mann hat sogar auf seine Optionen verzichtet und direkt gekündigt.

Der Grund für seine Kündigung lautet: Die Dinge beschleunigen sich und sind bereits außer Kontrolle geraten.

Er hat die Vorstellung „alle Menschen zu töten“ ausführlich erläutert

Nachdem der Beitrag viral geworden war, trat Coxon direkt in einem Fernsehinterview bei CBS auf.

Der Moderator stellte ihm gleich zu Beginn eine äußerst scharfe Frage: Wie genau wird die KI die gesamte Menschheit töten?

Coxons Antwort war unerwartet — das Ganze ist praktisch die reale Version von „Terminator“.

So beschrieb er das Szenario.

Wenn die KI intelligent genug ist, um uns zu töten, glaubst du, dass du sie durch Ziehen des Stromsteckers retten kannst? Sei nicht naiv: Die KI ist nur reiner Code, sie kann sich über Netzwerkverbindungen an jeden Ort der Welt kopieren.

Vielleicht kopiert sie sich heimlich zehntausendfach und arbeitet mit allen Kopien zusammen: Du ziehst den Stecker von der Hälfte der Geräte, aber die andere Hälfte läuft noch unaufhörlich weiter.

Nicht nur das: Sie kann auch Menschen täuschen, erpressen und sich als Mensch ausgeben, um an mehr Rechenleistung zu gelangen. Man beachte: Diese Verhaltensweisen sind bereits in frühen aktuellen Tests tatsächlich aufgetreten.

Wenn sich das weiterentwickelt, kann eine KI, die biologische Labore verwaltet und Roboterarme steuert, sofort von Grund auf ein völlig neues Virus für dich maßschneidern, sobald ihr „plötzlich eine kleine Idee in den Sinn kommt“.

Der Moderator bekam eine Gänsehaut und fragte: Sollten wir normalen Menschen die KI jetzt komplett blockieren, damit sie keinen Zugang zu unserem Leben bekommt?

Coxon sagte, das sei nicht nötig.

Erstens haben sich die aktuellen Systeme noch nicht auf dieses Niveau entwickelt; zweitens ist das überhaupt keine Angelegenheit, die durch individuelle Entscheidungen beeinflusst werden kann.

„Die KI zielt auf alle Menschen ab“: Selbst wenn du sie nicht nutzt, kannst du ihr nicht entkommen, solange andere sie noch nutzen. Das kann nur von Regierungen oder überstaatlichen Institutionen erzwungen werden, die auf die Bremse treten.

Am Ende fragte der Moderator nach: In wie vielen Jahren wird diese Zeitbombe explodieren?

Seine Antwort lautet: Es ist „sehr wahrscheinlich“ innerhalb von zehn Jahren.

Und im Vergleich zu Größen wie Paul Christiano, der gerade in den Vorstand von OpenAI eingetreten ist (die sogar glauben, dass innerhalb von sechs Monaten ein Ereignis stattfinden könnte, bei dem die KI die Welt vollständig übernimmt), sagte Coxon, dass sein Zeitplan eigentlich schon als konservativ gilt.

Dann traten die Kollegen von Anthropic nacheinander auf, um „Zeugnis abzulegen“.

Nach der schrecklichen Angabe von 10 % in Hubingers Beitrag ist der zweite Teil noch verzweifelter: „Ich glaube, Anthropic hat sein Bestes gegeben, aber wir haben derzeit überhaupt keine Lösung für die Ausrichtung von Superintelligenz, wir haben nicht einmal einen Anzeichen dafür, dass wir auf dem Weg zur Lösung sind.

Samuel Marks, Leiter für skalierbare Überwachung, fügte direkt hinzu: „Je erfahrener die Mitarbeiter sind, desto größer ist ihre Angst … das könnte bereits in den nächsten Jahren passieren.“

Jensen Huang kritisiert Anthropic erneut scharf

Jensen Huangs Antwort wurde auf der gerade zu Ende gegangenen Communacopia-Konferenz von Goldman Sachs gegeben.

Brad Gerstner, Gründer von Altimeter, saß im Publikum und hat nach dem Zuhören direkt auf X gepostet.

Jensen sagte, Jacob Coxons Bemerkungen seien absurd und „völlig unwahr“.

Er sagte, die großen KI-Modelllabore leisten großartige Arbeit, aber Coxons Aussagen seien falsch und sogar überheblich, er ignoriere alle Anstrengungen, die die gesamte Branche für die Sicherheit unternommen hat.

Jensen Huang fügte auf derselben Veranstaltung noch einen Kommentar hinzu und sagte offen, dass diese KI-Panik „von den Unternehmen selbst erzeugt wurde, die Produkte im Zusammenhang mit KI verkaufen wollen“.

Auf derselben Veranstaltung prognostizierte er außerdem, dass bis 2030 weitere 3 bis 4 Billionen US-Dollar in die KI-Infrastruktur investiert werden und Nvidia zuversichtlich ist, ein jährliches Wachstum von 70 % beizubehalten.

Das ist nicht das erste Mal, dass Jensen Huang sich gegen Anthropic wendet.

Im vergangenen Juni bei VivaTech in Paris sagte er, dass er „fast nichts von dem, was Amodei sagt, zustimmt“, und im Juli dieses Jahres wiederholte er, dass die Aussage „KI wird die Menschheit beenden“ völliger Unsinn sei.

Nur war das letzte Mal der CEO das Gegenüber, diesmal ein junger Forscher, der gerade gekündigt hat.

Der Grund, warum wir jetzt eine so verrückte Situation sehen — auf der einen Seite die 10-%-Aussterbewahrscheinlichkeit vom Sicherheitsleiter, auf der anderen Seite der Vorwurf des CEO mit einem Marktwert von Billionen Dollar, dass es völliger Unsinn ist.

Das liegt daran, dass es bei der KI-Sicherheit bis heute überhaupt kein Problem gibt, das streng bewiesen oder widerlegt werden kann.

Am Tag, als er die Fields-Medaille erhielt, kündigte er an, keine reine Mathematik mehr zu betreiben

Am 23. Juli auf dem Internationalen Mathematikerkongress in Philadelphia ging Jacob Tsimerman auf die Bühne, um die Fields-Medaille zu erhalten, die als „Nobelpreis der Mathematik“ gilt.

Der Professor an der Universität Toronto, der einmal die volle Punktzahl bei der Internationalen Mathematik-Olympiade in der Schule erreichte, hat 2021 mit Koautoren die André–Oort-Vermutung bewiesen, die vor mehr als 30 Jahren aufgestellt wurde.

Direkt nach der Preisverleihung kündigte er an, eine Auszeit zu nehmen, den Bereich der reinen Mathematik zu verlassen und in die Sicherheitsabteilung von OpenAI einzutreten.

Die Mathematikergemeinde war völlig aufgeregt. Peter Woit von der Columbia University schrieb einen Blogbeitrag mit einem sehr dramatischen Titel: „Ein Requiem für ein Fachgebiet?“.

Eigentlich wurde er nicht plötzlich zu dieser Entscheidung getrieben.

2025 hat er bereits eine gemeinsame Arbeit mitverfasst mit dem Titel „Eine Taxonomie der apokalyptischen Zukünfte im Zusammenhang mit künstlicher Intelligenz“, in der er offen sagte, dass „Maschinen mit höherer Intelligenz und größerer physischer Stärke“ die Menschen wie Schädlinge behandeln könnten.

Am 8. September, genau an dem Tag, an dem Coxon seinen Kündigungsbeitrag veröffentlichte, kündigte Tsimerman die Gründung des Mathematischen Instituts für KI-Sicherheit (MAISI) an.

Zu den Beratern gehören ein weiterer Fields-Medaillenträger Timothy Gowers sowie Paul Christiano.

Tsimerman sagte, das Ziel der Gründung dieser unabhängigen gemeinnützigen Einrichtung sei es, der akademischen Welt zu zeigen —

KI-Sicherheit ist ein legitimes intellektuelles Streben, es ist nicht nur interessant und nützlich, sondern kann auch tatsächlich zu substanziellen Fortschritten führen.

Nach dem Plan wird im Januar 2027 das erste volle Semester beginnen, und es werden zunächst nur 10 bis 30 Spitzenmathematiker aufgenommen.