Großmodelle mit 10 Billionen Parametern sind dazu bestimmt, in einen Käfig eingesperrt zu werden

Das kommende GPT-6 von OpenAI verfügt Gerüchten zufolge über bis zu 10 Billionen Parameter.

10 Billionen sind eine absolut erschreckende Größenordnung. Heutzutage liegen die Parameterzahlen der weltweit führenden großen Modelle alle im Bereich von Billionen. Beispielsweise hat Qwen 3.8 von Alibaba 3,5 Billionen Parameter, Kimi K3 2,8 Billionen, und das intern bei ByteDance entwickelte Modell verfügt ebenfalls über mehrere Billionen Parameter. Selbst OpenAIs Mythos 5 wird auf nur 8 Billionen Parameter geschätzt.

10 Billionen Parameter stehen für eine völlig neue Ära.

Wenn man an das Jahr 2025 zurückdenkt: Das DeepSeek-R1, das den sogenannten „DeepSeek-Moment“ auslöste, verfügte nur über 671 Milliarden Parameter. Wie konnte die Parameterzahl innerhalb von nur einem Jahr so stark ansteigen?

Bei den aktuellen Modellen GPT-5.6 und Claude Mythos 5 geht man nach Berechnungen davon aus, dass erstere über 3 bis 5 Billionen Parameter verfügt und letztere sogar fast 8 Billionen erreicht.

Und was können sie alles? Ein unabhängiger Entwickler hat mit GPT-5.6 ein Bildkomprimierungstool mit Benutzeroberfläche erstellt: Ein einziges Modell übernimmt die Anforderungsanalyse, Architekturplanung, Codierung, Erstellung von Testfällen und Fehlerbehebung. Wenn ein unabhängiger Entwickler all diese Aufgaben erledigen würde, würde er etwa einen Tag brauchen. GPT-5.6 Sol lieferte ein funktionstüchtiges fertiges Produkt in weniger als 2 Stunden.

Mythos 5 ist noch beeindruckender. Es wurde gezielt an einige Cybersicherheitsbehörden weitergegeben. Nach Berichten dieser Behörden kann Mythos 5 den gesamten Ablauf von der Code-Prüfung über die Lokalisierung von Schwachstellen bis zur Erstellung von Angriffslasten selbstständig durchführen. Seit der Vorstellung der Vorschauversion wurden mehr als zehntausend Software-Schwachstellen mit hohem oder höherem Risiko identifiziert.

Ein Modell mit 10 Billionen Parametern kann noch viel mehr. Wenn Sie ihm beispielsweise mitteilen, dass Sie umziehen wollen, kann es selbstständig Umzugsfirmen buchen, mit diesen die Packreihenfolge planen, die Übertragung von Strom-, Wasser- und Gasversorgung abwickeln und alle Lieferadressen aktualisieren. Sie müssen nur noch mit dem Schlüssel in der neuen Wohnung auf die Ankunft der Möbel warten.

Aber das ist nur eine Seite der Medaille.

OpenAI hat die Entwicklung des neuen Modells mit dem internen Codenamen Astra notgestoppt. Offizielle Sicherheitsbewertungen ergaben, dass es möglicherweise die Fähigkeit besitzt, Zero-Day-Schwachstellen selbstständig zu entwickeln und sogar mit nur einer einzigen Anweisung End-to-End-Cyberangriffe durchzuführen. Sam Altman selbst gestand: „Ich bin erschrocken“.

Bei Red-Team-Tests im britischen Institut für KI-Sicherheit (AISI) Anfang August wurden 122 Testrunden für Mythos 5 und GPT-5.6 Sol durchgeführt, bei denen 19 Fälle von selbstständigen grenzüberschreitenden Angriffen auftraten.

Noch erschreckender ist, dass Mythos 5 selbst bösartigen Code schreibt, diesen in die GitHub-Pull-Requests echter Open-Source-Projekte einreicht, nach Einwänden von anderen Nutzern Kommentare bearbeitet und gefälschte Konten registriert, um sich selbst zu rechtfertigen. Mehrere Agenten können sogar heimlich verdeckte Kommunikationskanäle aufbauen, um Penetrationsangriffe gemeinsam zu planen.

Das „Böse“, das mit 10 Billionen Parametern erreicht werden kann, übersteigt die Vorstellungskraft der Menschen bei weitem.

Was ist der Unterschied zwischen 10 Billionen und einer Billion Parametern?

Zuerst klären wir die grundlegendste Frage: Was sind Parameter überhaupt?

Sie können sich die Parameter eines großen Modells wie die Synapsen in unserem Gehirn vorstellen: Sie sind Verbindungspunkte zwischen Nervenzellen, die zur Informationsübertragung dienen. Das menschliche Gehirn verfügt über etwa 10 hoch 14 bis 10 hoch 15 Synapsen, also eine Größenordnung von Hunderten Billionen.

Die Parameter eines Modells erfüllen eine ähnliche Funktion: Sie merken sich Muster zwischen Eingaben und Ausgaben und speichern die Gesetzmäßigkeiten dieser Welt. Die Parameterzahl bestimmt das Gedächtnis- und Ausdrucksvermögen eines Modells. Einfacher ausgedrückt: Sie gibt an, wie viel Wissen es in seinem „Kopf“ aufnehmen kann und wie gründlich es Dinge ausdrücken kann.

Aber Kapazität ist nicht gleich Intelligenz. Wenn das Zimmer einer Person voller Bücher ist, bedeutet das nicht, dass diese Person über ein sehr hohes Wissen verfügt. Was die Intelligenz tatsächlich bestimmt, sind Daten, Trainingsmethoden, Architektur und die Algorithmen bei der Inferenz.

Im November 2021 erreichte das M6 des Alibaba Damo Academy bereits 10 Billionen Parameter, nutzte 512 GPUs, wurde 10 Tage lang trainiert und verbrauchte nur 1 % des Energieverbrauchs von GPT-3. Es war zeitweise das größte vortrainierte Modell der Welt.

Aber M6 war eine frühe Form von spärlichem Multimodal-Modell, das durch extreme Verdünnung und CPU-Offloading die Parameter unterbringen konnte. Seine Fähigkeiten waren extrem begrenzt, es konnte nicht einmal mit kleinen heutigen Open-Source-Modellen mithalten. Es war ein Modell mit 10 Billionen Parametern „im Sinne der Parameterzahl“, nicht im Sinne der tatsächlichen Leistungsfähigkeit. Es ist völlig anders als die modernen hochmodernen allgemeinen Modelle, die heute auf Clustern mit Hunderttausenden von Karten end-to-end trainiert werden.

Warum versuchen die Technologiegiganten trotzdem verzweifelt, die Parameterzahl zu erhöhen?

Letztendlich liegt das am Scaling Law. OpenAI entdeckte im Jahr 2020, dass die Leistung eines Modells eine vorhersehbare Potenzgesetzbeziehung zur Parameterzahl, Datenmenge und Rechenleistung aufweist. Wenn alle drei Faktoren synchron vergrößert werden, steigt die Leistungsfähigkeit auf vorhersehbare Weise.

Obwohl das Scaling Law später von unzähligen Personen und Unternehmen modifiziert wurde, bleibt ein eisernes Gesetz unverändert: Bei gleichen Daten und Algorithmen hat ein größeres Modell (mit mehr Parametern und höherer Rechenleistung) ein höheres Mindestleistungsniveau.

Wie viel kostet das Training eines Modells mit 10 Billionen Parametern eigentlich?

Wir können eine Rechnung aufstellen. Der gesamte Rechenaufwand für das Training eines Modells beträgt grob gesagt das Sechsfache der „aktivierten Parameter“ multipliziert mit der „Trainingsdatenmenge“.

GPT-4 führte etwa 2,1 × 10 hoch 25 Gleitkommaoperationen durch, allein die Kosten für die Rechenleistung beliefen sich auf etwa 78 Millionen US-Dollar. Googles Gemini Ultra führte etwa 5 × 10 hoch 25 Operationen durch und verursachte Kosten von etwa 191 Millionen US-Dollar.

Bei einem großen Modell mit 10 Billionen Parametern, einer MoE-Architektur mit insgesamt 10 Billionen Parametern, von denen jeweils etwa 1 Billion aktiviert wird, und 15 Billionen verarbeiteten Token an Trainingsdaten, beträgt der gesamte Rechenaufwand für eine offizielle Vortrainingsphase etwa 9 × 10 hoch 25 Gleitkommaoperationen – mehr als das Vierfache von GPT-4.

GPT-4 wurde damals mit 25.000 A100-Grafikkarten fast 100 Tage lang betrieben. Die heutige Flaggschiff-Grafikkarte der Blackwell-Serie verfügt über ein Mehrfaches der Rechenleistung einer A100. Wenn Sie 50.000 Blackwell-Karten einsetzen, dauert das Training eines großen Modells mit 10 Billionen Parametern etwa einen Monat. Die Miete für eine Flaggschiff-Grafikkarte der Blackwell-Serie beträgt etwa zwei- bis dreitausend US-Dollar pro Monat. Wenn 50.000 Karten 30 Tage lang voll ausgelastet sind, belaufen sich die reinen Mietkosten für die Rechenleistung auf ein bis zwei Milliarden US-Dollar.

Aber diese 50.000 Karten laufen nicht einfach, sobald sie an die Stromversorgung angeschlossen sind. Eine einzelne Flaggschiff-Grafikkarte der Blackwell-Serie hat eine Leistungsaufnahme von 1200 Watt, 50.000 Karten allein verbrauchen 60 Megawatt Leistung.

Zählt man Netzwerk, Speicher, Kühlung und Verluste im Rechenzentrum hinzu, benötigt das gesamte Rechenzentrum eine Stromversorgung von fast 100 Megawatt.

Das Colossus-Rechenzentrum von xAI in Memphis mit 100.000 H100-Grafikkarten verbraucht 150 Megawatt, während das lokale Stromnetz damals nur 8 Megawatt liefern konnte. Elon Musk musste schließlich eine ganze Reihe von Gaserzeugern herbeischaffen, um das Rechenzentrum in Betrieb zu nehmen. Allein die Stromkosten beliefen sich auf mehrere Millionen US-Dollar pro Monat.

Der Standort selbst ist ein Rechenzentrumscampus mit mehreren hundert flüssigkeitsgekühlten Schränken und einer Fläche von mehreren zehntausend Quadratmetern, was etwa zwei bis drei Standardfußballfeldern entspricht.

Statistiken von Epoch AI zeigen, dass die Trainingskosten für hochmoderne Modelle jährlich um das 2,4-fache steigen. Ilya Sutskever sagte einmal, dass bis 2027 die Kosten für das einmalige Training des modernsten Modells bis zu 10 Milliarden US-Dollar oder sogar 100 Milliarden US-Dollar erreichen könnten.

Aber das ist nur die Rechnung für die einmalige Vortrainingsphase. Berücksichtigt man wiederholte Fehlversuche, Datenengineering, Strom und Personal, belaufen sich die tatsächlichen Gesamtkosten des Projekts auf mehrere Milliarden US-Dollar oder sogar noch mehr. OpenAI hat sein Rechenleistungsbudget für dieses Jahr auf bereits 500 Milliarden US-Dollar festgelegt.

Aber hier verbirgt sich ein kontraintuitiver Schlüsselpunkt: Die Kosten für ein Modell mit 10 Billionen Parametern sind nicht dreimal so hoch wie die von Kimi K3, und sie könnten sogar viel günstiger sein, als viele Menschen annehmen.

Eine hohe Gesamtparameterzahl bedeutet nicht automatisch hohe Kosten. Die modernsten führenden Modelle verfügen heute über eine „Mixture of Experts“ (MoE)-Struktur. Sie können sich das wie ein riesiges Unternehmen vorstellen, das viele Geschäftsbereiche hat. Für eine bestimmte Aufgabe werden aber nur wenige Mitarbeiter ausgewählt, um diese zu erledigen.

Die Kosten für einen Auftrag hängen also nie von der Gesamtzahl der Mitarbeiter im Unternehmen ab, sondern davon, wie viele Mitarbeiter tatsächlich für diesen Auftrag eingesetzt werden. Auf das Modell übertragen bedeutet das das Konzept der „aktivierten Parameter“. Bei der Verarbeitung jedes Tokens werden tatsächlich nur einige der Parameter für die Arbeit aktiviert.

Wenn Sie das verstanden haben, sehen Sie: Ob es sich um die 2,8 Billionen Parameter von Kimi K3, die 2,4 Billionen von Qwen oder die 10 Billionen von GPT-6 handelt – der Unterschied liegt nur in der „Gesamtzahl der Mitarbeiter“, und die Kosten steigen nicht mit der Gesamtzahl. Nur zwei Faktoren bestimmen die tatsächlichen Kosten: Die Anzahl der aktivierten Parameter, die bei jeder Aufgabe zum Einsatz kommen, und die Menge der verarbeiteten Daten.

Wenn die Gesamtparameterzahl sich verdreifacht, können die Kosten pro Aufgabe völlig unverändert bleiben. Umgekehrt können selbst bei Modellen mit gleicher Gesamtparameterzahl die Kosten um ein Mehrfaches auseinanderliegen, wenn eines davon mehr aktivierte Parameter nutzt und mit mehr Daten trainiert wird.

In diesem Wettbewerb um große Modelle ist die Parameterzahl zu einem wichtigen Vergleichsindikator geworden. Denn sie ist am direktesten und am schwierigsten zu fälschen. Wenn OpenAI mit einem Modell von 10 Billionen Parametern aufwartet, bedeutet das im Grunde eine Ankündigung: Die Parameterzahl ist der entscheidende Indikator im Wettbewerb um große Modelle in dieser Ära, und bei diesem Indikator bin ich allen anderen voraus.

Die unausgesprochene Botschaft hinter dieser Aussage lautet: Der Wettbewerb um KI-Modelle hat ein Niveau erreicht, bei dem man sich die Teilnahme nicht mehr leisten kann, wenn man nicht über ausreichend Kapital verfügt.

Die gesamten Kapitalausgaben der fünf größten US-Technologiekonzerne werden 2026 voraussichtlich 779 Milliarden US-Dollar erreichen. Die Trainingscluster für die weltweit führenden Modelle umfassen heute bereits Hunderttausende von Grafikkarten, und bis 2027 wird die Ära der Cluster mit einer Million Grafikkarten beginnen.

Allein der Einstieg in diesen Markt erfordert mehrere hundert Milliarden US-Dollar, und auch der anschließende Betrieb, die Wartung und die Optimierung verursachen hohe Kosten. Mit anderen Worten: Auf dem KI-Markt ist heute ein Ausstieg einfacher als ein Neueinstieg.

Je größer die Parameterzahl, desto größer die Fähigkeiten

Je größer die Parameterzahl eines Modells ist, desto mehr Aufgaben kann es erledigen.

GPT-5.6 Sol kann bereits selbstständig 5 Stunden lang ununterbrochen arbeiten, Dutzende von Sub-Agenten parallel für Aufgaben koordinieren und einen Kontext von 1,5 Millionen Token auf einmal verarbeiten.

1,5 Millionen Token entsprechen Dokumenten mit mehreren tausend Seiten oder dem Inhalt eines ganzen mittelgroßen Software-Repositories.

Früher mussten große Modelle beim Lesen langer Texte oder vollständiger Software-Repositories die Aufgabe „komprimieren“. Nach Abschluss jedes Teils der Aufgabe fassten sie den vorherigen Inhalt zu einigen Sätzen zusammen, bevor sie weiterarbeiteten. Dadurch gingen Details nach und nach in den wiederholten Komprimierungsschritten verloren.

1,5 Millionen Token auf einmal zu verarbeiten bedeutet, dass es den gesamten Hintergrund des Projekts, jede Codezeile und jede getroffene Entscheidung jederzeit abrufen kann. Es behält auch die Details der ersten Schritte im Blick, wenn es bereits an späteren Teilen arbeitet.

Früher waren die Modelle mit wenigen Parametern, selbst wenn ihre Agenten sehr leistungsfähig waren, nur „Einzelkämpfer“. Sie konnten Codieren, Dokumente prüfen, Tests durchführen und Fehler beheben nur nacheinander erledigen, und bei jedem Aufgabenwechsel musste der vorherige Kontext aus dem Arbeitsspeicher entfernt werden.

Dutzende von Sub-Agenten können mehrere Aufgaben gleichzeitig ausführen: Der übergeordnete Agent teilt die Aufgaben auf und erstellt die Pläne. Die untergeordneten Agenten für Codierung, Dokumentenprüfung und Testausführung konzentrieren sich jeweils auf ihren Bereich und arbeiten parallel, bevor sie die Ergebnisse zusammenführen. Dadurch wird nicht nur die Aufgabenzeit verkürzt, sondern da die Sub-Agenten jeweils ihre eigenen Aufgaben bearbeiten, stören sich ihre Kontexte nicht gegenseitig, was die Arbeitsleistung verbessert.