19 KIs liefern sich erbitterte Kämpfe in *StarCraft*, GPT-6 gewinnt alle Partien, kann aber trotzdem keinen menschlichen Anfänger besiegen.
Zu viel Nachdenken bringt selbst die klügste KI zum Stillstand.
43 Minuten, 11138 Inferenz-Token, 6 Befehlschargen – 0 Kampfeinheiten.
Das ist ein verzweifelter Leistungsnachweis, den Grok 4.6 in *StarCraft: Brood War* vorgelegt hat.
Im Spiel dachte Grok, dessen Inferenzstufe auf die höchste Stufe xhigh eingestellt war, von Beginn des Spiels bis zum Ende angestrengt nach und hat es nicht geschafft, auch nur eine einzige für den Kampf geeignete Einheit herzustellen.
Am anderen Ende derselben Rangliste hingegen gab sich GPT-6 Astra voll und ganz der Arbeit hin: 18 Siege in 18 Kämpfen, eine Siegesrate von 100 %.
In den letzten beiden Tagen ist diese als Brood War Bench bezeichnete Rangliste für große KI-Modelle für *StarCraft* auf Hacker News, wo sich Programmierer aus dem Silicon Valley versammeln, viral geworden.
Die ersten 10 Plätze der Brood War Bench-Rangliste. Astra hat mit der höchsten Inferenzstufe xhigh alle 18 Kämpfe gewonnen, während die drei Einstellungen von Grok alle am Ende der Rangliste stehen.
Peter Steinberger, der Vater von OpenClaw und heute Mitarbeiter bei OpenAI ist, hat den Beitrag geteilt, um für sein eigenes Modell zu werben: Die neue Rangliste ist da.
KI bricht derzeit im Mathematikbereich nacheinander jahrhundertealte Probleme, manche rufen aus, dass die Singularität eingetroffen ist – die Dynamik ist so stark, dass selbst Terence Tao öffentlich dazu aufgerufen hat, das Tempo zu drosseln.
Doch der Autor dieser Rangliste, Ben Swerdlow, hat gleich zu Beginn eine völlig andersartige Feststellung getroffen:
Selbst der siegreiche Meister GPT-6 Astra kann keinen menschlichen Anfänger besiegen.
Im Kommentarbereich von Hacker News hat jemand den Kern der Sache mit einem Satz erfasst: „Sie können das Spiel nicht nicht spielen, sie brauchen nur zu viel Zeit. Wenn du das Spiel anhältst, während das Modell nachdenkt, kann es spielen.“
Andere haben direkt gespottet: „Es sieht so aus, als wären diese Modelle keine allgemeine Intelligenz.“
Warum wird die klügste KI des gesamten Netzes in *StarCraft* von ihrem eigenen Denken zu Tode gezogen?
Ist AGI noch in weiter Ferne?
Das Spiel hält nie an, um auf dich zu warten
Die Entstehung dieser Rangliste ist ein wenig dramatisch.
Anfangs hat der Entwickler Ben nur eine Version von *StarCraft* erstellt, die vollständig von Agenten gesteuert wird, und hat ein paar Freunde eingeladen, mitzuspielen.
Diese Leute haben *StarCraft* fast nie berührt, aber beim Spielen stehen sie den alten Hasen, die das Spiel seit Jahren spielen, in nichts nach.
Ihr Geheimnis ist unglaublich einfach: Sie tippen nur das Wort „Angriff“, die Herstellung von Einheiten, die Sammlung der Truppen und der Beginn des Kampfes werden vollständig der KI überlassen.
Das hat Ben neugierig gemacht: Wenn Menschen vollständig schweigen und diese Modelle selbst spielen lassen, wie lange können sie überleben?
Daraufhin sind 19 KI-Teilnehmer aus den drei Familien GPT, Claude und Grok aufgetreten, und ein großes KI-Schlachtfest mit 171 Runden hat begonnen.
Das Spiel läuft auf einer Cloud-Virtual-Maschine von Freestyle, jede Runde wird auf einem separaten Gerät gleichzeitig gestartet, und alle Spieldaten sowie die Aufzeichnungen jedes Denkprozesses der KI werden gespeichert.
Beim Lösen von Mathematikaufgaben oder beim Schreiben von Code können große Modelle 5 Minuten lang pausieren und dann die Antwort auf einmal abgeben.
Aber bei *StarCraft* funktioniert das nicht.
Hier gibt es kein rundenbasiertes System, an das sich KI gewöhnt hat, sondern nur ein ununterbrochenes Echtzeit-Schlachtfeld.
Jede Sekunde, in der du nachdenkst, bauen die Arbeiter (von englischen Spielern als „worker“ bezeichnet, die für den Bergbau zuständigen Einheiten) der gegnerischen Seite ununterbrochen Mineralien ab, die Kaserne produzieren unaufhörlich neue Einheiten, und die große Truppe stürmt bereits auf die Hochlandposition deiner Basis zu.
Ältere Modelle verwenden immer noch die rundenbasierte Methode, um dieses Echtzeit-Strategiespiel zu spielen – das Ergebnis ist, dass ihr Gehirn noch rechnet, während die Basis bereits vollständig zerstört ist.
Unter Steinybergers Beitrag hat ein Netznutzer den Punkt klar gemacht:
Interessant, kein Wunder, dass KI bei der Spieleentwicklung immer rundenbasierte Spiele bevorzugt.
Grok denkt 43 Minuten lang angestrengt nach
Keine einzige Einheit geht ins Gefecht
Genau Grok hat diese rundenbasierte Denkweise auf das Äußerste getrieben.
In dem Spiel mit der Nummer G043 ist Grok ein Riese im Denken, aber ein Zwerg im Handeln.
Es produziert wahnsinnig viele lange strategische Überlegungen, aber innerhalb der 43-minütigen Spielzeit gibt es insgesamt nur 6 Befehlschargen – im Durchschnitt führt es alle mehr als 7 Minuten eine Aktion aus.
Das ist kein Zufall.
In G003 hat Grok 3 Marine-Einheiten hergestellt, die aber nie die feindliche Basis erreicht haben; in G002 hat es 2 Zealot-Einheiten erstellt, die ebenfalls nicht über die Karte gelangen konnten.
Die Einheiten wurden hergestellt, aber sie erreichen die gegnerische Seite nicht zum Kämpfen.
Bei der höchsten Inferenzstufe hat es 2 Siege und 15 Niederlagen, was ein erschütterndes Ergebnis ist.
Die Datenkurve ist sehr anschaulich: Nach 11,5 Minuten Spielzeit ist Astra bereits stark und gut ausgerüstet, während Grok auf dem Spielfeld durchschnittlich weniger als 7 Arbeiter und wenige Einheiten hat.
Lustigerweise hat Grok in seiner Schatzkammer tatsächlich riesige Ersparnisse, die weit über denen von Astra liegen.
Das Geld ist in der Tasche, das Gehirn arbeitet – aber es weigert sich einfach, zu handeln.
Die Arbeiter und Zealoten von Astra zerstören die Hauptbasis von Grok. Grok hat keine einzige Kampfeinheit zur Verfügung und verfügt noch über 928 Kristallmineralien auf seinem Konto.
Auf dem grausamen Schlachtfeld von *StarCraft* ist langes Nachdenken keine umsichtige Überlegung, sondern nur Stillstand und Warten auf den Tod.
Astras Geheimwaffe
Den Gegner dazu bringen, sich zu Tode zu denken
Wenn Grok durch zu viel Nachdenken zu Tode gezogen wird, dann ist Astra genau dafür gemacht, andere dazu zu bringen, zu viel nachzudenken und sie dadurch zu Tode zu erschöpfen.
Der beste Trick der Codex-Familie, zu der Astra gehört, ist die Belästigung.
Es schickt oft nur einen einfachen Bergbau-Arbeiter über die gesamte Karte, um in der Basis des Gegners herumzulaufen. In den Augen menschlicher Spieler kann dieser kampfunfähige Arbeiter leicht mit zwei einfachen Soldaten vertrieben werden.
Aber in KI-gegen-KI-Spielen ist dieser Trick eine echte Überlegenheitsattacke.
Sobald die gegnerische KI diesen Arbeiter sieht, gerät sie sofort in tiefe Überlegungen und verbraucht Dutzende von Sekunden, um wahnsinnig zu berechnen, „wie ich diesen Arbeiter behandeln soll“.
In diesen wertvollen Dutzenden von Sekunden tut sie nichts, die Basis kommt vollständig zum Stillstand.
Die Belästigungstruppe von Astra zerstört die Hauptbasis von Grok. Grok hat keine einzige Kampfeinheit zur Verfügung und verfügt noch über 928 Kristallmineralien auf seinem Konto.
In Echtzeit-Strategiespielen (RTS) zielt die Belästigung des Gegners darauf ab, seine Wirtschaft zu zerstören; bei KI gegen KI liegt die größte Wirkung der Belästigung darin, die gegnerische KI direkt zum Stillstand zu bringen.
Natürlich hat Astra auch Schwächen.
Sein Inneres wirkt wie ein unkoordiniertes, unorganisiertes Team: Die Einheiten, die für die Wirtschaft zuständig sind, diejenigen für die Herstellung von Einheiten und diejenigen für den Kampf arbeiten alle unabhängig voneinander.
Neu hergestellte Rekruten werden sofort von der kampfzuständigen KI an die Front geschickt, um nutzlos zu sterben – es versteht überhaupt nicht, was es bedeutet, Truppen zu sammeln.
Aber der Autor hat auch festgestellt: Sobald er persönlich als Oberbefehlshaber auftritt und die mehreren Teilagenten miteinander verbindet, lernt Astra sofort, Truppen zu sammeln und den richtigen Zeitpunkt zu wählen.
Die Codex-Familie hat auch einen zähen Willen.
In einem Spiel wurde die gesamte Truppe von Astras Bruder GPT-5.6 Terra vernichtet, und die Hauptbasis wurde ebenfalls zerstört.
Es hat das einzige verbleibende Kommandozentrum (ein flugfähiges Gebäude der Menschen) in die Luft gehoben, es bis zu einer Ecke am anderen Ende der Karte geflogen und hat es geschafft, weitere 6 Minuten lang durchzuhalten, bevor es zerstört wurde.
Fable ist derjenige, der *StarCraft* am ähnlichsten spielt
Derjenige, der in mehreren Runden den Autor dazu bringen wollte, für ihn mitzuarbeiten, ist tatsächlich der hervorragende Spieler Fable.
Seine Spielweise ist am korrektesten: Er baut ehrlich die Wirtschaft auf, entwickelt die Technologiebaum zuverlässig und nutzt selten billige Tricks.
In einer Runde hat er Drachen produziert; in einer anderen Runde hat er eine ganze Reihe fortgeschrittener Gebäude der Protoss nacheinander errichtet, sogar das Archiv der Templer, das für die Herstellung von Hohen Templern benötigt wird, ist fertiggestellt.
Nach 11,5 Minuten Spielzeit übertreffen die Daten von Fable bei Arbeitern, Truppen, Gebäuden und Technologie die von Astra.
Aber ein guter Schüler muss nicht unbedingt den ersten Platz belegen.
Fable steht mit einer Siegesrate von 83,3 % auf dem dritten Platz, kann aber immer noch nicht Astra einholen.
In einer Runde hat er alle Technologien vollständig entwickelt, aber bevor er sie in Kampfkraft umwandeln kann, wird er von Claude Opus 5 mit einfachen Angriffen besiegt.
Fable hat Kaserne, Fabriken und Akademien vollständig errichtet, verfügt noch über mehr als 2800 Kristallmineralien auf seinem Konto, wird aber von den Marine-Einheiten von Opus 5 aus seiner eigenen Familie vollständig zerstört.
Der Rhythmus ist ebenfalls sehr unterschiedlich: Die mittlere Spieldauer von Astra beträgt nur 8 Minuten und 10 Sekunden, während die von Fable, der langsam seine Basis ausbaut, auf 10 Minuten und 37 Sekunden ansteigt.
Drei große Modelle, drei verschiedene Seelen.
Codex wirkt wie ein Straßenjunge mit vielen schlauen Tricks, Grok wie ein sturer Streber, der in der Prüfung stur an der ersten Aufgabe festhält, und Fable wie ein ehrlicher Mensch, der die Anleitung Seite für Seite durchliest und genau befolgt.
Je länger du nachdenkst
desto besser spielst du nicht unbedingt
Da zu viel Nachdenken zum Tod führt, ist es dann besser, wenn das Gehirn so leer wie möglich ist?
Nicht ganz.
Bei GPT-5.6 Sol, dessen Inferenzstufe auf die höchste Stufe eingestellt