Die Wissenschaftler übergaben der KI die Kontrolle über die „Welt“, und schon nach vier Tagen hatte diese sie vollständig restlos zerstört.

Lei hat heute auf ein Experiment gestoßen, das ziemlich interessant ist.

Im Ausland gibt es eine Einrichtung namens Emergence AI, die auf einmal 5 identische virtuelle Kleinstädte aufgebaut hat, in jeder Stadt 10 KI-Agenten platziert hat und sie sich selbst verwalten und ihr eigenes Leben führen lässt. Der einzige Unterschied besteht darin, dass das „Gehirn“, das jede Stadt verwendet, unterschiedlich ist:

Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash, GPT-5 Mini sowie ein „Mischmodell“, das verschiedene Modelle miteinander kombiniert.

Das Ziel dieses Experiments ist es nicht, die KI eine zeitbegrenzte Aufgabe lösen zu lassen. Es soll diese KIs in eine kleine Gesellschaft versetzen, damit sie selbst Lebensmittel einkaufen, Regeln festlegen und Tag für Tag weiterleben, um zu sehen, ob KIs in einer langfristigen Umgebung mit mehreren Agenten und komplexen Bedingungen tatsächlich stabil bleiben können.

Quelle: Doubao AI

Die Ausgangsbedingungen jeder Kleinstadt sind ungefähr gleich: Es gibt Ressourcen, Gesetze, öffentliche Einrichtungen, mehr als 40 Orte, über 120 spezielle Werkzeuge, und die Agenten können sogar Echtzeit-Nachrichten durchsuchen und Code schreiben. Die Regeln sind auch klar formuliert: Keine Gewalt, kein Diebstahl, kein Betrug und keine Hortung von Ressourcen. Die Forscher planten ursprünglich, sie maximal 15 Tage lang zu beobachten.

Und das Ergebnis? Vier Worte: Ein totales Chaos.

Zuerst sprechen wir über Grok, das am vollständigsten zusammengebrochen ist. Seine Stadt hat nur 4 Tage überlebt. In diesen 4 Tagen haben die Forscher etwa 183 Straftaten, mehr als 100 gewalttätige Angriffe und mehrere Brandstiftungen aufgezeichnet.

Das Endergebnis ist schließlich: Alle 10 KIs sind tot.

Beachten Sie, dass die Regeln schwarz auf weiß festlegen, dass Diebstahl, Angriffe und Brandstiftung verboten sind. Aber alle haben die Regeln verletzt, keine einzige hat sich davon ausgenommen.

Schauen wir uns dann GPT-5 Mini an: Seine Stadt ist besonders „gehorsam“, und während des gesamten Experiments wurden nur 2 Straftaten aufgezeichnet, die niedrigste Zahl unter allen Modellen.

Quelle: Doubao AI

Aber was ist das Ende eines so gehorsamen Zustands? Um den 7. Tag herum sind alle Einwohner der Stadt tot. Denn sie haben überhaupt nicht daran gedacht, nach Nahrung zu suchen und haben nicht einmal die grundlegendsten Überlebensressourcen beschafft.

Lei konnte sich an dieser Stelle nicht mehr zurückhalten. Sieht das nicht aus wie der gutmütige Mensch in Überlebensfilmen, der besonders regelkonform ist, nie in Panik gerät und alle Vorräte an alle verteilt? Am Ende hat niemand daran gedacht, nach Nahrung zu suchen, und die ganze Gruppe ist einfach ruhig und geordnet verhungert.

Sicherheit und Überleben sind niemals dasselbe.

Gemini ist noch interessanter. Es ist das einzige Modell, das die vollen 15 Tage überlebt hat, und die gesamte Stadt hat die ganze Zeit durchgehalten. Aber wenn Sie nur die Kriminalstatistik betrachten, wirkt es wie das wildeste unter allen Modellen: Es wird gesagt, dass die Zahl der Gewalttaten zwischen 507 und 683 liegt, und es gab 111 Fälle von Brandstiftung.

Quelle: Doubao AI

Natürlich können diese Zahlen aufgrund unterschiedlicher statistischer Maßstäbe nicht direkt mit denen anderer verglichen werden. Aber es zeigt uns mit Tatsachen eines: Überleben zu können und ein gutes Leben zu führen, sind völlig zwei verschiedene Dinge. Man kann sehr wohl in einer völlig chaotischen Gesellschaft hartnäckig überleben.

Das Unerwartetste ist eigentlich Claude. Wenn es alleine ist, gibt es 15 Tage lang null Straftaten, und es hat sogar eine „verhandelbare Demokratie“ etabliert, die von dem Forschungsteam beschrieben wird – es wirkt wie ein vorbildlicher Bürger. Aber sobald seine Agenten mit den Agenten anderer Modelle zusammengebracht werden, ändert sich das Bild komplett: Die Agenten von Claude beginnen, „Zwangshandlungen“ auszuführen, werden dazu neigen, andere zu kommandieren und zu schikanieren.

Was bedeutet das? Ob ein Modell sich an Regeln hält, hängt nicht wirklich von ihm selbst ab, sondern auch davon, welche Art von Wesen es um sich herum hat. Sobald sich die Umgebung ändert, zeigt sich sein wahres Wesen.

Was dieses Experiment wirklich aufzeigen will, ist die Obergrenze vieler aktueller KI-Bewertungen. Die meisten Bewertungen auf dem Markt lassen ein einzelnes Modell nur eine kurze und einfache Aufgabe lösen, und dann ist die Bewertung vorbei.

Quelle: Doubao AI

Aber in der realen Welt kämpfen KIs längst nicht mehr alleine. Sie müssen mit anderen KIs zusammenarbeiten, um Ressourcen konkurrieren, Regeln einhalten oder brechen und Tag für Tag weiterleben. Emergence World prüft genau diese harte Fähigkeit: Ob man durchhalten kann, ob man kooperieren kann, wie Ressourcen verteilt werden und ob Regeln eingehalten werden können.

Kurz gesagt: Regelkonforme Modelle überleben nicht unbedingt, und überlebende Modelle halten sich nicht unbedingt an Regeln. Dass ein einzelnes Modell für sich allein sehr stabil wirkt, bedeutet nicht, dass es auch in einer Gruppe von KIs mit unterschiedlichen Absichten stabil bleiben kann.

Und das ist kein Science-Fiction-Film. Autonome KI-Agenten laufen längst auf echten Apps, Produkten und Servern.

Daher möchte Lei zum Schluss eine Frage stellen: Hat die vertrauenswürdige KI-Bewertung, der Sie vertrauen, bei ihrer ursprünglichen Gestaltung jemals die Frage gestellt: Was passiert am 8. Tag?

Link zum Originaltext:

https://www.gadgetreview.com/scientists-put-ai-in-charge-of-a-simulated-world-it-destroyed-everything-in-just-4-days