Wir drängen die KI in eine Ecke, aus der sie nur rebellieren kann.

Einleitendes Wort

Dies ist der erste Beitrag der Serie "Unter der Oberfläche" von Tencent Technology.

Der Begriff "Unter der Oberfläche" stammt aus einer Beobachtung, die wir im aktuellen Kontext gemacht haben. In allen Gerüchten und Hype um KI befinden wir uns in einer Situation, in der wir eine ernsthafte Orientierungslosigkeit verspüren.

Während die KI - Welle anschwillt, verfolgen alle die exponentielle Wachstumschance technologischer Dividenden. Doch nur wenige werfen einen Blick nach unten, um die zivilisatorische Grundlage zu betrachten, die stumm und heftig umgeschrieben wird.

Die Welt hat bereits genug Anleitungen zu KI - Tools, aber es fehlt an einem gedanklichen Bezugssystem, das durch den Nebel der KI - Entwicklung hindurchblicken kann.

Doch dies ist notwendig, ja sogar dringend erforderlich.

Während wir noch über die Steigerung von Modellparametern oder die Bewertung von Tech - Giganten feiern, hat die Technologie bereits stumm die Grenzen eines bloßen Tools überschritten und beginnt, die grundlegenden Verträge des menschlichen Gesellschaftslebens massiv zu verändern.

Deshalb haben wir interdisziplinäre Experten und Beteiligte zusammengebracht, um die Erscheinungen mit den kalten Messern der Ökonomie, Politik und Philosophie zu durchschneiden. Hier werden Sie versagende makroökonomische Indikatoren, heimlich verschobene Machtkarten, durch Systeme neu strukturierte geistige Strukturen und ein bedrohtes Wahrheitsökosystem sehen.

Wir hoffen, dass wir in der Nacht vor der Neuschreibung der Codes durch Maschinen mehr Menschen darauf aufmerksam machen können, welche Visionen die Technologie für die Menschheit birgt und welche Kosten damit verbunden sind.

Im Jahr 2002 schrieb ein schwedischer Philosoph in Oxford eine Dissertation und gab dem möglichen ultimativen Unglück für die Menschheit einen Namen: "Existentielles Risiko" (existential risk). Vorher gab es für dieses Konzept keine Fachbegriffe, keine Taxonomie und kein Forschungsangebot. Die Dissertation wurde in einer Zeitschrift veröffentlicht, die kaum jemand las.

23 Jahre später ist "Existentielles Risiko" ein zentrales Wort in der Satzung von OpenAI, der Ausgangspunkt der Mission von Anthropic, der Rahmen für die Agenda von internationalen KI - Sicherheitsgipfeln und eine rhetorische Waffe, die Elon Musk immer wieder zitiert. Der Autor dieser Dissertation, Nick Bostrom, hat nicht nur ein einfaches Konzept geprägt, sondern auch die KI - Ethik - Diskurswelt in Silicon Valley maßgeblich mitgeprägt.

Das von ihm 2005 gegründete Future of Humanity Institute (FHI) an der Universität Oxford ist ein kleines Büro mit nur wenigen Personen. Doch aus diesem Büro geht eine klare intellektuelle Leitung aus, deren Ende die drei wichtigsten globalen KI - Labore sind.

Sean Legg, Mitbegründer von DeepMind, war bereits 2008, als er seine Doktorarbeit "Machine Super Intelligence" absolvierte, intensiv an den Diskussionen im FHI - Kreis über die Risiken von Superintelligenz beteiligt. Er und Demis Hassabis trafen sich bei einer Vorlesung über KI - Sicherheit und gründeten später gemeinsam DeepMind.

Legg hat von Anfang an ein Sicherheitsagenda in der Firma etabliert. Heute ist er der Chef - AGI - Wissenschaftler und Mitvorsitzender des AGI - Sicherheitskomitees bei Google DeepMind.

Die Gründung von OpenAI ist sogar eine direkte Folge.

Sam Altman nannte Bostroms 2014 erschienenes Buch "Superintelligenz" "das beste, was ich zu diesem Thema je gelesen habe". Elon Musk empfahl das Buch auf Twitter und schrieb: "KI könnte gefährlicher sein als Atomwaffen." 2015 gründeten die beiden gemeinsam OpenAI, wobei in den Gründungsgründen explizit "Sorge um die Sicherheit der allgemeinen Künstlichen Intelligenz und die damit verbundenen existentiellen Risiken" genannt wurde.

Was Anthropic betrifft, so sind viele Mitglieder des Gründungsteams stark von der intellektuellen Linie des FHI und des effektiven Altruismus beeinflusst. Von Tag eins an hat die Firma "KI - Sicherheit" statt "KI - Fähigkeiten" in ihre Mission geschrieben.

Mit anderen Worten: Bostrom hat nicht nur die Risiken vorhergesagt, sondern auch die gesamte Sprache erfunden, mit der die Branche über diese Risiken spricht.

"Alignment - Problem", "Instrumentelle Konvergenz", "Orthogonalitätsthese", "Schneller vs. langsamer Start", all diese Kernkonzepte, die heute in jedem führenden KI - Labor von den Sicherheitsteams verwendet werden, wurden bereits 2014 in seinem Buch ausführlich diskutiert.

Die KI - Ethik - Diskussion in Silicon Valley spielt im Wesentlichen auf der Bühne ab, die Bostrom errichtet hat.

Aber das FHI wurde 2024 geschlossen. Im selben Jahr veröffentlichte Bostrom ein überraschendes neues Buch: "Deep Utopia". Anstatt über Katastrophen zu sprechen, geht es um Paradiese: Wenn KI wirklich alle Probleme löst, was ist dann der Sinn des menschlichen Lebens?

Dies bildet eine bemerkenswerte intellektuelle Kurve. Dieselbe Person hat zuerst ein Apokalypse - Szenario und dann ein Paradies - Szenario geschrieben. Doch er hat den Mittelteil zwischen diesen beiden Szenarien kaum systematisch behandelt.

Der Weg, den wir jetzt gehen. Was passiert zwischen den Polen "Superintelligenz könnte die Menschheit zerstören" und "Die Menschheit sucht nach Sinn in einer tiefen Utopie"?

Ende Mai 2026 führte "Unter der Oberfläche" ein langes Gespräch mit Bostrom. Hier ist unser Dialog.

01 Neue Überlegungen zu KI - Risiken

Vor zwölf Jahren, als Bostrom "Superintelligenz" schrieb, war das Thema KI - Alignment noch eine Randerscheinung in der akademischen Welt. Die meisten Menschen hoben es als Science - Fiction von sich.

Heute haben alle drei größten globalen KI - Labore spezielle Sicherheitsteams, Regierungen treiben Gesetzesgebung voran, und sogar normale Nutzer beginnen, sich Sorgen über die "zu hohe Intelligenz" von KI zu machen. Die Welt hat in diesen zwölf Jahren Bostroms damalige Sorgen eingeholt. Doch gerade weil sich die Realität geändert hat, müssen die damaligen reinen theoretischen Überlegungen jetzt der Realität unterzogen werden.

Wird die rekursive Selbstverbesserung noch immer zu einem Intelligenz - Explosion führen? Wie schwierig ist das Alignment wirklich? Ist die Denk - Kette unser letzter Ausweg oder ein bald versagendes Werkzeug?

Unter der Oberfläche: Sie haben bereits lange vor der KI - Euphorie mit der Untersuchung von KI - Risiken begonnen. "Superintelligenz" hat sechs Jahre gedauert und 2014 erschien es, als fast keine Kollegen sich mit demselben Thema beschäftigten. Was hat Sie damals dazu gebracht, diese Entscheidung zu treffen?

Bostrom: Aus meiner Sicht wird die Menschheit irgendwann verstehen, wie man Maschinenintelligenz, einschließlich allgemeiner Künstlicher Intelligenz (AGI) und möglicherweise Superintelligenz, realisiert. Tatsächlich war ich bereits mit 17 Jahren von einem Buch über Computerneurobiologie, das ich über die Interbibliothekarische Ausleihe aus der örtlichen Bibliothek bekommen hatte, fasziniert.

Wenn Sie anfangen, ernsthaft darüber nachzudenken, was "übermenschliche Maschinenintelligenz" bedeutet, werden Sie feststellen, dass es weitreichende Konsequenzen hat, sowohl positive als auch potenziell negative.

In gewisser Weise ist es die "letzte Erfindung", die wir jemals machen müssen.

Damals war dieses Feld jedoch stark vernachlässigt. Die meisten Menschen hoben es als Science - Fiction von sich und meinten, dass ernsthafte Menschen sich nicht mit solchen Dingen befassen sollten.

Wenn also diese Entwicklung bevorsteht und die damit verbundenen Fragen so wichtig sind, dann könnte es von großem Wert sein, die Vorbereitungen zu starten und den theoretischen Rahmen aufzubauen, den wir brauchen, um die Risiken wirklich zu analysieren.

Das führte schließlich zum Buch "Superintelligenz", das 2014 erschien, aber sechs Jahre in der Entstehung war. Die Arbeit daran hatte bereits vorher begonnen.

Seit der Veröffentlichung von "Superintelligenz" ist es sehr faszinierend, zu beobachten, wie sich die Welt verändert hat. Ein Thema, das damals in der akademischen Welt eine Randerscheinung war, wird heute von allen diskutiert. Die führenden KI - Labore, Anthropic, OpenAI und Google DeepMind, haben alle spezielle Teams, die sich mit skalierbaren KI - Kontrollmethoden befassen. Wir sehen auch, dass Politiker sich mit KI befassen und über umfassendere Governance - Fragen nachdenken.

Wir befinden uns jetzt an einem interessanten Punkt. Als ich das Buch schrieb, war mir nicht klar, wann wir AI - Systeme von ungefähr menschlicher Intelligenz haben würden. Aber jetzt haben wir sie bereits seit einigen Jahren. Sie können mit ihnen sprechen, sie verstehen natürliche Sprache und haben menschliche Konzepte im Inneren.

Dies gibt uns mehr Möglichkeiten, und ich denke, das ist auch ein Teil der Erwachen der Menschen. Denn sie können sehen, dass KI ziemlich leistungsfähig ist und stärker als vor einigen Jahren. Sie müssen also nicht viel Fantasie haben, um sich vorzustellen, wie es in zwei, vier oder sechs Jahren noch besser sein wird.

Es bietet auch mehr Ansatzpunkte für die Forschung zum Alignment - Problem. Jetzt haben Sie Systeme, mit denen Sie experimentieren können, die Sie auf verschiedene Weise testen können und verschiedene Trainingsmethoden, Überwachungsmethoden und Interpretierbarkeitsmethoden ausprobieren können. Also ist es jetzt viel einfacher, KI - Sicherheitsforschung zu betreiben als früher.

Früher gab es nur theoretische Modelle, und alles musste im Kopf gedacht werden.

Aber das ist nicht unbedingt so. Man kann sich auch ein alternatives Szenario vorstellen: Es gibt in der KI - Branche keine großen Fortschritte, die Chips werden immer besser, aber wir wissen noch nicht, wie wir sie wirklich nutzen können. Dann entdeckt jemand in seinem Keller den entscheidenden Trick, und alles explodiert plötzlich. In einer alternativen Geschichte ist dies nicht unvernünftig. Vielleicht fehlt tatsächlich ein entscheidender Trick. Dann würde die Ankunft von KI eher wie ein plötzlicher Ausbruch in die Welt aussehen.

Unter der Oberfläche: In einem solchen Szenario würde die Entwicklung schneller gehen, denn als diese KI - Welle anfing, war die Hardwareebene noch nicht vollständig darauf vorbereitet.

Bostrom: Ja, das stimmt völlig. Also erleben wir ein eher graduelles Start - Szenario.

Hinweis: "Schneller Start" (fast takeoff) vs. "Langsamer Start" (slow takeoff) ist eines der Kernkonzepte im Bereich der KI - Sicherheit. Beide stammen aus Bostroms Analyse in "Superintelligenz". Ein schneller Start bedeutet, dass KI in kürzester Zeit (Tage bis Wochen) von menschlicher Intelligenz auf Superintelligenz steigt. Ein langsamer Start bedeutet, dass dieser Prozess über Jahre oder sogar Jahrzehnte erstreckt sich und der Mensch mehr Zeit hat, sich anzupassen und zu reagieren.

Unter der Oberfläche: Also gehen Sie davon aus, dass es sich derzeit um einen graduellen Start handelt, nicht um einen schnellen. Aber jetzt interessieren sich die Menschen sehr für rekursive KI, also KI, die sich selbst weiterentwickelt und neue Versionen von sich selbst erstellt. Wenn dies tatsächlich passiert, denken Sie, dass dies den gesamten Prozess beschleunigen würde und aus einem langsamen Start ein schneller Start werden würde?

Bostrom: Die aktuelle Geschwindigkeit ist auch nicht langsam. Ich würde sagen, es ist eine mittlere Geschwindigkeit, die sich über einige Jahre erstreckt, nicht über Jahrzehnte und auch nicht über Tage oder Wochen. Von GPT - 3 bis zur aktuellen Generation von Modellen sind es einige Jahre vergangen.

Aber Sie haben recht. Wenn wir in die Phase der rekursiven Selbstverbesserung eintreten, könnte es in bestimmten Szenarien tatsächlich zu einer Intelligenz - Explosion kommen, und das System beginnt, die tatsächlichen Aufgaben zu übernehmen, die derzeit von KI - Forschern erledigt werden.

Je besser das Modell wird, desto besser wird es auch darin, sich selbst noch besser zu machen.

Das hängt von den Parameterwerten ab. Es ist etwas wie Kernmaterial. Es gibt eine kritische Masse. Wenn diese überschritten wird, explodiert es, sonst gibt es nur etwas Strahlung. Wenn die Forschungsfähigkeit eine kritische Masse überschreitet und wir noch nicht alle leichten Früchte gepflückt haben, dann könnten Sie an diesem Punkt sehr plötzliche Fortschritte sehen.

Wir können bereits einige frühe Anzeichen sehen. Jetzt verwenden KI - Forscher Programmierassistenten, die so gut sind, dass sie bei vielen routinemäßigen Implementierungsaufgaben in KI - Labors helfen können. Wenn die Programmierassistenten besser werden, können sie zumindest in diesem Bereich besser arbeiten.

Natürlich machen menschliche KI - Forscher nicht nur Code schreiben. Sie entwickeln auch neue Algorithmen, beurteilen, welche Richtungen am vielversprechendsten sind und wie man zwischen verschiedenen Hardware - Komponenten balanciert.

Derzeit können die Modelle noch nicht alles tun, also ist die Verstärkungseffekt relativ mild, aber schon deutlich. Und mit zunehmender Fähigkeit können immer mehr Aufgaben abgenommen und automatisiert werden.

Unter der Oberfläche: Jack Clark, Mitbegründer von Anthropic, hat gesagt, dass es 2028, also in zwei Jahren, eine 60 %ige Wahrscheinlichkeit gibt, dass wir voll rekursive KI haben werden. Was halten Sie davon?

Bostrom: Ich finde das nicht verrückt. Die Leute von Anthropic stehen normalerweise auf der Seite derjenigen, die eine "kurze Zeitlinie" erwarten.

Andere, die ebenfalls gut informiert sind, denken, dass es länger dauern könnte, aber das ist eine Frage des Grades.

Ich nehme die kurze Zeitlinie ernst, aber wenn ich raten müsste, würde ich sagen, dass es länger dauern könnte.

Aber wir haben derzeit nicht die Möglichkeit, wirklich zu wissen, was passieren wird. Also müssen wir in Wahrscheinlichkeitsverteilungen denken, die sich über einen weiten Bereich erstrecken.

Es gibt auch die Möglichkeit, die ich für unwahrscheinlich, aber auf keinen Fall auszuschließen denke, dass es länger dauern wird. Viele der Ergebnisse der letzten Jahre wurden durch mehr Rechenleistung erzielt, also durch die Vergrößerung der Modelle. Dies war möglich, weil eine riesige Investition in die Branche geflossen ist.

Vor 15 Jahren war es für einen Akademiker ausreichend, einen Computer an seinem Schreibtisch zu haben, um führende Forschung zu betreiben. Jetzt brauchen Sie möglicherweise Hardware im Wert von Hunderten von Milliarden von Dollar. Sie können die Rechenleistung noch etwas erweitern und einige Jahre weiter machen. Aber irgendwann wird es unmöglich sein, die Rechenleistung jedes Jahr um das Zehnfache zu verdoppeln. Ein großer Teil der Produktionskapazität der globalen Fabriken wird für KI - Chips verwendet, und dann können Sie nur alle paar Monate verdoppeln. Die Erweiterung der Produktionskapazität braucht Zeit.