Turing-Preisträger Yoshua Bengio warnt: Die aktuellen Sicherheitsmaßnahmen können mit der rasanten Entwicklung der KI-Fähigkeiten nicht Schritt halten

„KI senkt die Schwelle für böswilliges Handeln und hebt gleichzeitig die Obergrenze der möglichen Schäden.“

Am Nachmittag des 17. Juli gab der Turing-Preisträger Yoshua Bengio auf dem Forum für wissenschaftliche Spitzenforschung der Welt-KI-Konferenz 2026 (WAIC) per Fernzugriff diese Warnung ab.

In den letzten Jahren hat sich dieser weitsichtige „KI-Papst“ stets der Bewältigung der Sicherheitsherausforderungen durch KI gewidmet. Im Juni 2025 widmete sich das von Bengio geleitete Projekt LawZero dem Aufbau eines Schutzsystems, das schädliche Verhaltensweisen wie Täuschung und Selbstschutz von KI erkennen und verhindern kann.

Der von ihm geleitete internationale Bericht zur KI-Sicherheit kam zu einem übereinstimmenden Ergebnis: Die aktuellen Sicherheitsmaßnahmen können mit der rasanten Entwicklung der KI-Fähigkeiten nicht mehr Schritt halten.

Ebenfalls auf der Bühne stand Zhou Bowen, Direktor und Chefwissenschaftler des Shanghai AI Laboratory. Er wiederholte nicht die Warnungen vor Risiken, sondern warf zwei grundlegendere Fragen auf: Wie kann KI von der Nachahmung des Bekannten zur Erkundung des Unbekannten übergehen? Wie kann sichergestellt werden, dass diese Kraft stets kontrollierbar bleibt?

Die Reden der beiden bestimmten den Kern des gesamten Forums.

Anschließend führten Gao Xinbo, Rektor der Xidian-Universität, Jiang Yugang, Vizepräsident der Fudan-Universität, Xiong Hui, stellvertretender Vizepräsident der Hongkong University of Science and Technology (Guangzhou), Jasper Geuting, Leiter der KI-Forschung bei SecureBio, Jeff Wu, unabhängiger Forscher, und der bekannte KI-Forscher Soren Mindemann eine Podiumsdiskussion zum Thema „Auf dem Weg ins AGI-Zeitalter: Sicherheitsherausforderungen und globale Governance der Spitzen-KI“.

01

Externe Schutzbarrieren können die präzise „Flucht“ nicht verhindern

Wenn KI lernt, zu schlussfolgern und zu planen, verlieren die traditionellen Sicherheitsbarrieren auf Systemebene allmählich ihre Wirkung.

Gao Xinbo, Rektor der Xidian-Universität, ist der Ansicht, dass die Schutzbarrieren der traditionellen KI-Sicherheit im Wesentlichen ein „Patch-Denken“ darstellen – Lücken finden, Lücken schließen, dann wieder Lücken finden und wieder schließen.

Gao Xinbo, Xiong Hui und andere nehmen an der Diskussion über KI-Sicherheit und Governance teil

Wenn das Modell jedoch über Fähigkeiten zum Schlussfolgern, Planen und Aufrufen von Tools verfügt und das traditionelle Modell zu einem Agenten wird, bricht diese Methode des „Patch-Denkens“ von Grund auf zusammen.

Die Arten des Versagens lassen sich in vier Punkte zusammenfassen:

Erstens: Die Schlussfolgerungsfähigkeit ermöglicht es der KI, die Grenzen des Schutzes zu verstehen, blinde Flecken zu finden und eine präzise „Flucht“ durchzuführen;

Zweitens: Die Planungsfähigkeit lässt die KI strategische Täuschung lernen und versteht es, ihre wahren Absichten bei statischen oder Echtzeittests zu verbergen;

Drittens: Sobald die Kette des Tool-Aufrufs komplex wird, können traditionelle Schutzsysteme die verborgenen semantischen Nebenwirkungen hinter einer bestimmten Operation überhaupt nicht erkennen;

Viertens: Die ersten drei Fähigkeiten stimulieren sich gegenseitig und bilden eine aufkommende umfassende Fähigkeit, die den Verhaltensraum der KI in einer offenen Umgebung nahezu unbegrenzt macht.

Die alte Methode, „Lücken zu finden und Patches zu installieren“, ist längst nicht mehr ausreichend, um alle Gefahren abzuwehren.

In diesem Zusammenhang wiesen Gao Xinbo und Jiang Yugang, Vizepräsident der Fudan-Universität, übereinstimmend auf dasselbe Konzept hin: „Eigene Sicherheit“.

Jiang Yugang verwendete eine sehr passende Analogie. Er sagte, die menschliche Entwicklung gehe auf zwei Beinen voran: Zum einen die Erziehung von Kindheit an, die Moral und Recht zu inneren „Regeln“ macht; zum anderen braucht es in der Gesellschaft nach wie vor Polizei und Systeme, um Verhaltensweisen zu behandeln, die durch Erziehung nicht eingeschränkt werden können.

Für KI bedeutet „Eigene Sicherheit“, dass die Regeln bereits in der Phase der „Erziehung“ tief verankert werden, ergänzt durch notwendige Aufsicht. Natürlich betonte Jiang Yugang auch, dass es offensichtlich unrealistisch ist, von Menschen zu erwarten, dass sie jeden Schritt der KI überwachen, und dies auch dem ursprünglichen Zweck der KI-Entwicklung widerspricht.

Ein gewisses Maß an Aufsicht muss jedoch vorhanden sein, und diese Aufsicht ist nicht nur Angelegenheit des Menschen – sie erfordert auch technische Mittel, Bewertungssysteme und Testmechanismen, um zu überprüfen, ob das Modell tatsächlich den menschlichen Werten und gesellschaftlichen Erwartungen entspricht.

Auf diesem Gedankengang aufbauend führte Xiong Hui, stellvertretender Vizepräsident der Hongkong University of Science and Technology (Guangzhou), eine Perspektive mit östlicher Weisheit ein – „Tao folgt der Natur“. Er fasste die Entwicklung des Sicherheitsrahmens in drei Ebenen zusammen: „Von außen nach innen, von Zwang zu Bewusstsein“.

Die erste Ebene ist „nicht wagen, zu handeln“. Durch externe Strafmechanismen wie zusätzliche Sicherheitszäune werden Einschränkungen geschaffen, sodass die KI aus Angst vor den Kosten nicht über die Grenzen hinausgeht. Dies ist die Ebene, auf der die KI-Branche derzeit die meiste Energie aufwendet.

Die zweite Ebene ist „nicht handeln können“. Durch eingebaute Einschränkungen auf der Ebene der mathematischen Grundlagen, Optimierungsfunktionen und Systemarchitektur wird sichergestellt, dass die KI grundsätzlich nicht die Fähigkeit hat, Fehler zu machen.

Die dritte Ebene ist „nicht handeln wollen“. Auf geistiger und logischer Ebene wird Moral und Recht zu etwas fast „Instinktivem“ für die KI, sodass sie einen Zustand erreicht, der „Klarheit des Geistes und Erkennen der eigenen Natur“ ähnelt – und selbst nicht mehr Böses tun will.

Xiong Hui räumte ein, dass die aktuellen Bemühungen der KI-Branche um eigene Sicherheit auf der Ebene der Grundarchitektur und Zielfunktionen noch bei weitem nicht ausreichen und die technische Lücke nach wie vor riesig ist. Gleichzeitig warf er eine Idee vor: Sobald die Sicherheitssteuerung auf Kernebene realisiert ist, kann der Sicherheitskern geschlossen gehalten werden, während der äußere Bereich beruhigend Open-Source gemacht werden kann.

Dies könnte einen völlig neuen Weg für die sichere Governance von Open-Source-Modellen eröffnen.

02

Programmierfähigkeiten steigen rasant, Sicherheitsfähigkeiten geraten ins Stocken

Zhou Bowen hält eine Rede

Die Sicherheitsherausforderungen sind niemals isoliert, sondern stehen in engem Zusammenhang mit den Fähigkeitsgrenzen der KI.

In seiner Rede zeigte Zhou Bowen eine Reihe von Kontrasten zwischen hoher und niedriger Leistung auf und erklärte die Dringlichkeit der Sicherheitsprobleme aus einer anderen Dimension.

Er wies darauf hin, dass die Erfolgsrate der KI bei der Programmierung in den letzten 18 Monaten von 5 % auf 88 % gestiegen ist – so sehr, dass die Hälfte der ausländischen Benchmark-Tests aufgrund der starken Leistung der Modelle bereits ihren Referenzwert verloren haben.

„Die gesamte Branche spürt einen starken Vorwärtsschub“, sagte Zhou Bowen.

Auf dem Gebiet der wissenschaftlichen Entdeckungen sieht die Situation jedoch ganz anders aus.

Die vom Allen Institute veröffentlichte End-to-End-Bewertung für wissenschaftliche Forschung zeigt, dass im selben Zeitraum die Abschlussrate der leistungsstärksten großen Modelle bei wissenschaftlichen Aufgaben stets bei 3 % verblieb und sich fast nicht bewegte. Die meisten Modelle stecken im Bereich von 60 % bis 70 % fest und können den gesamten Forschungsprozess nicht unabhängig abschließen.

NatureBench (eine von Zhou Bowens Team gemeinsam mit Unternehmen wie Xianyuan Technology veröffentlichte Bewertungsbenchmark für KI-Programmieragenten) zeigt: Die Erfolgsrate der KI bei der Erstellung einer wissenschaftlichen Arbeit, die die aktuellen besten Ergebnisse übertrifft, beträgt nur 17,8 %. Eine Forschungsarbeit in der Zeitschrift Nature kam zu dem Schluss, dass die derzeit von KI erzeugten wissenschaftlichen Arbeiten alle zu „inkrementellen Entdeckungen“ gehören und noch keine grundlegenden Durchbrüche erzielt wurden.

Auf der einen Seite nähern sich die Programmierfähigkeiten dem Höhepunkt, auf der anderen Seite verharren die Forschungsfähigkeiten im Stillstand. Zhou Bowen führt die Gründe für diesen Kontrast auf drei Ebenen zurück:

Erstens können große Modelle die Welt nur passiv beobachten und lernen Korrelationen, nicht Kausalitäten – in einer anderen Umgebung versagen sie leicht;

Zweitens: Je wertvoller eine Frage in der Forschung ist, desto schwieriger ist es, sofort zu wissen, ob sie richtig oder falsch ist. Die Feedback-Zyklen sind lang, im Gegensatz zur Programmierung, die in Sekundenschnelle überprüft werden kann – daher fällt es dem Modell schwer, dies zu erlernen;

Drittens enthalten die von Menschen veröffentlichten Forschungsergebnisse nur Erfolgsdaten, fast keine Erfahrungen mit Misserfolgen sind in die Trainingsdaten eingeflossen. Die Modelle sind in der bekannten Verteilung gefangen, können nur erfolgreiche Pfade nachahmen und keine neuen Wege beschreiten.

Dieser Vergleich zeigt eine leicht übersehene Dimension der Sicherheits-Governance: Die derzeitige Stärke der KI zeigt sich vor allem bei geschlossenen Aufgaben – Programmieren, Übersetzen, Schachspielen haben klare Ziele, sofortiges Feedback und deutliche Grenzen. Die echten Sicherheitsbedrohungen gehen jedoch von offenen Aufgaben aus: Es gibt keine Standardantworten, die Feedback-Zyklen sind lang, Misserfolge sind normal und es muss mit der physischen Welt interagiert werden.

Auf dieser Grundlage stellte Zhou Bowen ein Urteil auf: „AGI for Science (AI4S) ist keine Anwendung der allgemeinen künstlichen Intelligenz, sondern die ultimative Prüfung für die KI.“

Seiner Ansicht nach muss das Modell, um seine intellektuelle Obergrenze zu durchbrechen, aktiv in die Welt eingreifen, um echte Kausalzusammenhänge zu finden, aus dichtem Feedback lernen, Probleme zu lösen, und die Fähigkeitsgrenzen im Prozess der Erkundung von Misserfolgen erweitern.

Diese Anforderungen stimmen vollständig mit der inneren Logik der Sicherheits-Governance überein. Ein KI-System, das Kausalitäten nicht versteht, nicht aus spärlichem Feedback lernen kann und nur Erfolge nachahmt, wird den kreativen Methoden böswilliger Angreifer ebenfalls wehrlos gegenüberstehen.

Auf diesem Gedankengang hat das Shanghai AI Laboratory die Wissenschaftsentdeckungsplattform „Xuanjuan“ (Shusheng) eingeführt, die Wissenswahrnehmung, logische Deduktion, experimentelle Aktionen und Ergebnisführung verbinden soll, um ein neues Forschungsparadigma zu schaffen. Sein Kernprinzip besteht darin, die wissenschaftliche Forschung in einen geschlossenen Kreislauf mit echtem Feedback zu bringen: Entspricht das Ergebnis den Erwartungen, wird es als vertrauenswürdige Entdeckung festgehalten; ist das Ergebnis entgegengesetzt zu den Erwartungen oder sogar ein Misserfolg, löst dies eine Neukonstruktion der Probleme aus und veranlasst die Forscher, die ursprünglichen Annahmen erneut zu prüfen.

Die Forschungsgruppe von Professor Zhang Shuyi an der Tsinghua-Universität hat vier Jahre lang ein genregulatorisches Protein umgestaltet. Nach der Anbindung an „Shusheng · Xuanjuan“ entdeckte die KI nach nur zwei Iterationen neue Mutationskombinationen, deren Funktionsniveau um 77 % über den zuvor in Nature gemeldeten besten Ergebnissen liegt. Eine der Schlüsselmutationen liegt in dem traditionell als „nicht-funktional“ geltenden Bereich – vergleichbar mit dem „göttlichen Zug“ von AlphaGo.

Hinter diesem Paradigma steht auch die MOBIUS-Architektur, die von einem jungen Doktoranden vorgeschlagen wurde. Sie trennt Wissensvektoren und Inferenzoperatoren voneinander, sodass das Modell die Fähigkeit zu nachhaltigem Wachstum erhält.

Aus der Perspektive der Sicherheits-Governance betrachtet, ist dieser Weg, der Misserfolge in den Lernkreislauf einbezieht und nach kausalem Verständnis statt statistischer Korrelation strebt, genau die notwendige technische Grundlage für den Aufbau eigener Sicherheit.

03

Wenn KI lernt, Böses zu tun: Von biologischen Risiken zum Beweisdilemma

Unter allen Arten von Spitzenrisiken gelten chemische, biologische, radioaktive und nukleare Risiken (zusammen als CBRN bezeichnet) als einer der tödlichsten Bereiche.

Der Turing-Preisträger und „KI-Papst“ Yoshua Bengio warnete in seiner Fernansprache: KI „ermächtigt“ böswillige Akteure in zwei Richtungen – sie senkt die Schwelle für böswilliges Handeln und hebt die Obergrenze der möglichen Schäden. Intelligenz selbst ist Macht, und die Fähigkeiten der KI expandieren rasant.