Ist das gesamte Internet wieder in Ekstase geraten, nachdem Google sein neues Modell veröffentlicht hat?

Google hat ein neues Modell veröffentlicht: Gemini 3.8 Flash.

Am nächsten Morgen waren alle Abonnement-Feeds bereits voll mit praktischen Tests dazu. Es gab alle möglichen Schlussfolgerungen: Einige sagten, es sei unglaublich leistungsstark, andere meinten, es sei nicht so besonders, und wieder andere äußerten sich einfach sarkastisch.

In den letzten Monaten habe ich sie noch angeklickt und durchgelesen, in den letzten zwei Monaten habe ich sie aber meistens übersprungen. Die Blogger geben sich wirklich große Mühe, aber diese Sache lässt sich strukturell gar nicht durch Tests erfassen.

Ich habe eine Frage, die ich nie beantworten konnte: Ein Modell mit Billionen von Parametern ist erst 48 Stunden nach seiner Veröffentlichung erschienen – auf welcher Grundlage kann eine einzelne Person beurteilen, ob es gut oder schlecht ist? Um diese Frage zu beantworten, muss man drei Hürden überwinden.

Die erste Hürde: Es lässt dir keine Zeit.

Dieses Mal hat Google nur 20 Tage Abstand zur vorherigen Generation gehalten. Zählt man zurück: Gemini 3.6 kam am 21. Juli, 3.7 am 13. August und 3.8 am 2. September. Drei Generationen in 43 Tagen, das dritte Produkt innerhalb von sechs Wochen.

Pichai hat den Aktionären auf der Telefonkonferenz zur Finanzberichterstattung versprochen, dass das Tempo so schnell wird, dass fast jeden Monat ein neues Modell erscheint. Der Begriff Produktplanung reicht dafür schon nicht mehr aus – das ist einfach nur ein Dienstplan.

Du hast die vorherige Version noch nicht einmal richtig ausprobiert, die Debatten über die Testergebnisse sind noch nicht beendet, und das nächste Modell ist schon da. Außerdem hat Google selbst bestätigt, dass 3.8 direkt auf der Grundlage von 3.7 weiter trainiert wurde, ohne dass die Spezifikationen irgendwo verändert wurden.

Das ist so, als würde derselbe Schüler noch ein Semester lang zusätzlichen Unterricht bekommen – es handelt sich nicht um einen neuen Schüler.

Die Fortschritte sind real. Auf der DeepSWE-Programmierrangliste erreichte es 73,7 %, Claude Opus 5 liegt bei 74,0 % – der Unterschied beträgt nur 0,3 Prozentpunkte, also fast gleichauf.

Mit diesen Testergebnissen vor den Augen wäre es unvernünftig, zu behaupten, Google hätte sich überhaupt nicht weiterentwickelt.

Aber genau da liegt das Problem. Wie lange dauert es, ein Modell zu validieren? Man muss echte Nutzer mit echten Aufgaben wochen- oder monatelang damit arbeiten lassen, aber Google gibt dafür nur 20 Tage Zeit.

Der Validierungszyklus kann nicht mit dem Erneuerungszyklus Schritt halten. Gerade wenn du erste Erkenntnisse aus den Tests gewinnst, ist das Modell schon veraltet. Die praktischen Testberichte zu 3.7 von vor drei Wochen lesen sich heute schon wie archäologische Ausgrabungen.

Die zweite Hürde: Du kannst seine Fähigkeiten nicht vollständig erfassen.

Ein Modell mit Billionen von Parametern ist so groß, dass du es mit bloßem Auge und manuellen Methoden überhaupt nicht vollständig messen kannst. Google hat nicht angegeben, wie groß 3.8 genau ist. Jedenfalls erreichen Spitzenmodelle heute oft diese Größenordnung, und niemand kann klar sagen, wo die Grenzen seiner Fähigkeiten liegen.

Ich habe einen ausländischen Ingenieur gelesen, der auf GitHub an Modellen arbeitet und eine wahre Aussage getroffen hat: Niemand weiß, wie gut ein neues Modell bei seiner Veröffentlichung wirklich ist, selbst das Labor, das es entwickelt hat, kann es nur erraten.

Aber wenn du es selbst ausprobierst, wie viel davon kannst du tatsächlich erfassen? Ein paar Dialoge, es eine Low-Code-Website schreiben lassen, ein kleines, völlig unbedeutendes Spiel erstellen lassen, und ihm dann noch zwei Rätsel mit Wortspielen stellen.

Das sind nur ein paar zufällig ausgewählte Punkte in diesem riesigen Fähigkeitsraum, die Stichprobenmenge ist praktisch null.

Schlimmer noch: Die Testergebnisse sind auch noch instabil. Der Blogger AI Pulse Daily hat drei Modelle mit demselben Prompt dazu gebracht, eine Stadtszene von New York zu generieren: Opus 5 hat 1840 Bäume eingefügt, die Version von Google vor drei Wochen hat 10 Bäume platziert, und das neue 3.8 hat nur 6 Bäume hinzugefügt.

Die im Prompt ausdrücklich geforderten Fußgängerüberwege und Wasserwellen hat 3.8 komplett weggelassen, stattdessen hat es selbstständig fünf Kamera-Voreinstellungen hinzugefügt.

Eine andere Gruppe hat mit ähnlichen Aufgaben getestet: 3.8 war schnell und günstig, hat vier Szenen für 0,12 US-Dollar erledigt, während Opus 5 1,86 US-Dollar gekostet hat.

Es handelt sich um dasselbe Modell, aber die Schlussfolgerungen sind gegensätzlich – der Unterschied liegt ausschließlich in der Aufgabe, die der Tester ausgewählt hat.

Die dritte Hürde: Das, was du erfasst, ist nicht einmal das eigentliche Modell.

In der Demo auf Googles Vorstellung hat ein einziger Prompt ein spielbares 3D-Hexen-Spiel generiert, bei dem Rätsel und Umgebungsnarrative vollständig aufgebaut waren. Außerdem konnte es eine lauffähige DOS-Version von Google Maps erstellen, sogar mit Straßenansicht-Navigation. Das sieht wirklich beeindruckend aus.

Aber das sind die Obergrenzen, die Google mit seinem eigenen Framework, seiner eigenen Umgebung und nach wiederholtem Feintuning erreicht hat.

Heute Morgen habe ich auch einen Bericht gesehen, der das Modell umgekehrt getestet hat: Der Autor hat es selbst ausgeführt, und die Schlussfolgerung war genau das Gegenteil der offiziellen Angabe. Sechs Wochen lang drei Generationen hintereinander aktualisiert, und im Bericht standen vier Worte: Die ursprüngliche Qualität ist völlig unverändert.

Was bekommt eine normale Person denn tatsächlich?

Eine Webseite, eine API, ein kahles Dialogfenster – ohne dieses Framework, ohne Ingenieure, die dir zur Seite stehen, und du sendest nur eine unvollständige, natürlichsprachliche Anfrage.

Das, was Google dir zeigt, ist das Ergebnis, das ein ganzes Team gemeinsam herangezüchtet hat. Das Fenster, das du in der Hand hast, hat keine Unterstützung. Was du am Veröffentlichungstag testen kannst, ist nur der Teil, den sie dir vorzeigen wollen.

Siehst du, drei Hürden: Nicht genug Zeit, nicht genug Fähigkeiten, und das, was du erfasst, ist nicht einmal das eigentliche Modell – was soll das denn bringen?

......

Es bringt nichts, aber er hat keinen einzigen Tag ausgesetzt. Denn die Veröffentlichung von Modellen und die dazugehörigen Inhalte dienen überhaupt nicht dem Zweck der Validierung.

Ich habe dieses Detail speziell nachgeprüft und festgestellt, dass der Beginn dieses Festes schon mehrere Tage vor den Berichten der Medien lag.

Die Wall Street hat schon am Tag vor der Veröffentlichung Hinweise darauf verbreitet.

Bei Google gibt es eine Codierplattform namens Jetski. Ingenieure haben 3.8 in einem direkten Vergleich mit Anthropics Opus getestet, und die meisten bevorzugten das neue Modell von Google.

In der Nachricht standen keine Prompts, keine Aufgabensätze und keine Testmethoden, nur eine einzige Schlussfolgerung. Aber genau wegen dieser einen Aussage stieg der Kurs von Alphabet am Berichtstag nach Börsenschluss um 0,6 %.

Ein paar Tage davor hat Business Insider bereits einen ersten Bericht veröffentlicht.

Mitarbeiter von Google haben die Vorschauversion von 3.8 auf Jetski ausprobiert. Einige sagten, es sei deutlich besser als 3.7, und fügten hinzu, dass eine umfassende Bewertung noch zu früh sei. Dieser Satz wurde später von keiner einzigen Nachrichtenseite übernommen.

Einen Tag früher tauchte das 3.8-Modell kurzzeitig auf der offiziellen Website auf, wurde dann aber wieder entfernt, und die Seite zeigte einen 404-Fehler an. Zum Glück hat jemand einen Screenshot als Beweis gespeichert.

Wenn man noch weiter zurückschaut: In einem Papier von Tencent vom 10. August wurde „Gemini 3.8 Flash“ bereits in die Liste der Bewertungsrichter aufgenommen, zu einem Zeitpunkt, als 3.7 noch gar nicht öffentlich veröffentlicht war.

Siehst du, die Veröffentlichung hat noch gar nicht begonnen, und die Tests laufen bereits auf dem Verbreitungsweg.

Die Hersteller wissen genau, dass eine einfache Vorstellung nicht reicht. Die gesamte Branche soll das Modell praktisch testen, je mehr Berichte es gibt, desto besser. Lob oder Kritik sind egal, solange das Timing stimmt. Das „praktische Testen“, das du erwartest, ist nur ein Gericht, das sie dir servieren.

Die Berichte? Sie sind auch alle pünktlich fertig.

Kurz nach Mitternacht ging der erste praktische Test online. Um halb neun Uhr morgens hatten alle fünf großen Tech-Medien ihre Berichte eingereicht. Die Titel folgen alle demselben Muster: Gerade, Lichtgeschwindigkeit, schon wieder, verrückte Optimierung, verspottet.

Sie kämpfen um das Wort „gerade“. Das „gerade“ um Mitternacht und das „gerade“ am Mittag sind nicht dasselbe. Dieselbe Gruppe von Nutzern hat die Berichte innerhalb weniger Stunden weiterverbreitet, der Titel wechselte von „Preis-Leistungs-Killer“ zu „wird verspottet“, während der Inhalt fast identisch blieb.

Warum sind sie so synchron?

Das Zeitfenster für die Aufmerksamkeit am Veröffentlichungstag beträgt nur 48 Stunden. Sobald das Fenster vorbei ist, liest niemand mehr die Berichte. Die Leute, die von diesem Job leben, verdienen ihr Geld mit diesem Zeitfenster.

Ich habe auch nachgeschaut, ob es vernünftige Leute gibt. Ja, es gibt sie. Eine im KI-Bereich tätige Person im englischsprachigen Raum hat öffentlich gesagt, dass sie sich weigert, ein Modell zu bewerten, das erst 15 Minuten online ist – sie will eine Woche warten, bis das Modell sich stabilisiert hat.

Aber diese Leute leben nicht von dem Veröffentlichungstag, und ihre Worte finden keinen Platz in den Medienberichten an diesem Tag.

Gut, die Medien sind durchleuchtet. Wenn man noch tiefer geht: Auch Institutionen sind dabei.

Am Veröffentlichungstag lag die Bewertung von Artificial Analysis schon vor: 59 Punkte. Auch die Programmierrangliste von Datacurve wurde am selben Tag eingereicht: 74 %, gleichauf mit Opus 5 auf dem ersten Platz.

Diese beiden Institutionen führen seriöse Bewertungen durch, ihre Aufgabensätze sind öffentlich, die Ergebnisse lassen sich nachvollziehen, und es gibt nur wenige Leute, die sie anzweifeln. Aber je seriöser sie sind, desto deutlicher wird das Problem: Sogar sie reichen ihre Berichte am Veröffentlichungstag ein.

Eigentlich veröffentlichen diese Institutionen täglich neue Werte. Am Tag davor hat Anthropics Fable 5.1 den höchsten Wert in der Geschichte von Artificial Analysis von 66 Punkten erreicht, aber niemand hat das viral verbreitet.

Nur die Bewertungen am Veröffentlichungstag werden weitergeleitet. Der Veröffentlichungszeitplan beherrscht alle, selbst die seriösesten Bewertungen finden nur in diesem Zeitfenster ein Publikum.

Es gibt noch etwas Lustigeres. In der eigenen Beschreibung von Arena steht, dass die Rangliste die subjektiven Präferenzen der Nutzer widerspiegelt und kein Test der absoluten Fähigkeiten ist. Die Plattform hat ihre eigene Karte gleich aufgedeckt.

Zu guter Letzt: Die Leser.

Gegensätzliche Schlussfolgerungen können gleichzeitig die Schlagzeilen erreichen, weil es für beide Seiten Leser gibt. Übertreibtes Lob und übertreibte Kritik sind fertige Materialien, um sich auf eine Seite zu stellen. Ob das Modell selbst gut ist, interessiert niemanden – es interessiert nur, ob die Seite, auf die man sich gestellt hat, gewinnt.

Ich habe mir die Kommentarbereiche der praktischen Testberichte auf Xiaohongshu angesehen: Die heftigsten Debatten werden alle von Leuten geführt, die sich noch nicht entschieden haben, welches Modell sie nutzen wollen. Wenn sie die Debatte gewinnen, fühlt es sich so an, als würden sie das Modell bereits nutzen.

Praktische Tests zu lesen ist ein bisschen wie Fußballkommentare zu lesen. Es ist nichts falsch daran, es zum Spaß zu tun. Der einzige Unterschied ist eine Sache: Fußballkommentare sagen offen, dass sie nur zur Unterhaltung sind. Praktische Tests tragen das Wort „praktisch“ im Namen und lassen dich glauben, dass du eine fundierte Entscheidung triffst. Wenn der Spaß vorbei ist und du dich auf eine Seite gestellt hast, erinnert sich niemand mehr daran, ob das Modell wirklich gut ist.

Es ist ein Theaterstück: Die Hersteller schreiben das Drehbuch, die Medien spielen die Nebenrollen, die Institutionen hetzen zwischen den Terminen her, die Leser wählen ihre Seite. Jeder hat seine Rolle, und am Ende hat niemand eine echte Validierung durchgeführt. Klingt das abstrakt?

......

Es ist nicht abstrakt. Die echten Validierungen sind nie ausgeblieben, aber sie finden alle nicht am Veröffentlichungstag statt. Sie laufen entweder hinter verschlossenen Türen oder erscheinen verspätet, sie wollen einfach nicht an dem Tag des Festes teilnehmen.

Wenn man nach den echten Validierungen sucht, gibt es zwei Richtungen: Die eine liegt vor der Veröffentlichung.

OpenAI hat GPT-5.6 Sol der US-Regierung schon vor der Veröffentlichung zur Vorschau gegeben. Institutionen unter dem Handelsministerium erhalten seit Mai unveröffentlichte Modelle von Google, Microsoft und xAI, um Bewertungen vor der Bereitstellung durchzuführen.

OpenAI hat im Juni selbst eine Erklärung veröffentlicht: Dass man das Modell der Regierung vor der öffentlichen Veröffentlichung zeigt, soll den öffentlichen Start reibungsloser machen. Es ist eine kurzfristige Maßnahme, um zuerst die Prüfung der Regierung zu bestehen und dann die des Marktes.

Dieses Mal hat Google die Cyber-Version nur für geprüfte Sicherheitsteams freigegeben. OpenAIs Astra wurde wegen Verstößen gegen Cybersicherheitsvorgänge sogar nur eingeschränkt veröffentlicht.

Elon Musk hat außerdem vorgeschlagen, dass sich die Unternehmen gegenseitig prüfen und die Regierung die letzte Verantwortung übernimmt.

Hinter jedem Veröffentlichungstag gibt es eine Prüfung, die du nie siehst. Diese Prüfungen sind echt und sinnvoll, aber sie sind nicht öffentlich, und ihre Schlussfolgerungen treffen keine Entscheidung für dich. Sie prüfen nur, ob das Modell sicher ist.

Die andere Richtung liegt nach der Veröffentlichung.

An dem Tag, als GPT-5 online ging, gab es überall negative Stimmen, der Konsens war, dass das Modell nicht taugt. Drei Monate später hat sich die Stimmung geändert: Es ist zu einem hervorragenden Werkzeug für die Agenten-Programmierung geworden, und viele Leute haben im Nachhinein festgestellt, dass ihre Kritik damals zu voreilig war.

Die Leute, die GPT-5 damals kritisiert haben, haben das nicht aus Dummheit getan.

Menschen beurteilen Modelle nach ihrem Gefühl. Aber sobald ein Modell klüger ist als du, versagt dieses Gefühl. Du kannst nicht einmal erkennen, worin seine Stärken liegen, also kannst du auch keine richtige Aussage treffen. Das ist der Grund, warum der Konsens am Veröffentlichungstag immer wieder falsch liegt.

Ich bin selbst schon in diese Falle getappt:

Als DeepSeeks V4 Pro veröffentlicht wurde, gab es nur Lob im Internet. Nachdem ich es eine Weile benutzt habe, sind die negativen Effekte aufgetreten, und in der Branche f