Meta-CTO enthüllt die wahre Geschichte hinter Llama 4s Rückstand: Um Llama 3 zum Durchbruch zu verhelfen, haben wir unseren eigenen Ausstieg selbst blockiert

In der Softwareentwicklung ist das Schlimmste, wenn man die „Vorräte“ für die Zukunft auf einmal aufzehrt. Andrew Bosworth (im Folgenden Bos), CTO von Meta, sprach kürzlich im Big Technology Podcast über die schwierige Situation von LLaMA 4 und blickte zurück auf diesen unbeabsichtigten Fehler.

Bei der Auslieferung von LLaMA 3 wollte das Meta-Team unbedingt einen vollen Erfolg landen – und verbrauchte alle geplanten Pfadforschungen und zukunftsweisenden Ideen, die eigentlich für die nächste Generation vorgesehen waren, vorzeitig. Das Ergebnis: LLaMA 3 wurde von allen Seiten gefeiert, aber die Entwicklungs-Pipeline für LLaMA 4 war völlig leer. Bei Reasoning (Schlussfolgerungsvermögen) und Mixture-of-Experts-Modellen (MoE) fiel Meta sofort hinter die Konkurrenz zurück. Dieser technische Bruch zwang Mark Zuckerberg, seine Strategie zu ändern – er wechselte vollständig in den „Gründermodus“, um massiv Rechenleistung und Talente zu akquirieren.

Wenn ein großer Konzern die Richtung ändert, bleibt es nicht aus, dass interne Strukturen belastet werden. Um den Rückstand schnell aufzuholen, rief Meta zu einer extrem dringenden „Mobilmachung im Kriegsmodus“ auf: Tausende erfahrener Ingenieure aus Nicht-KI-Abteilungen mussten ihre laufenden Kernprojekte unterbrechen und wurden über Nacht abgezogen, um Expertencode-Daten für die KI zu markieren. Diese rücksichtslose Durchführung löste enormen internen Unmut aus – einige Mitarbeiter beschwerten sich bei Medien, es fühle sich an wie „Zwangsarbeit in einem Konzentrationslager“. Bos beschönigte den Mangel an Kommunikation mit der Führung nicht: Er gab zu, dass er diese Managementmaßnahme in einem intern durchgesickerten E-Mail als „entsetzlich“ (atrocious) bezeichnet hatte. Aber er beharrte darauf, dass die Richtung stimmt – damit große Modelle grundlegende Fähigkeiten wie „wie ein Mensch normal mit Computersoftware umgehen“ lernen, begann Meta sogar, die unteren Interaktionsspuren von Mitarbeitern zu verfolgen und zu sammeln – Tastatureingaben und Klicks auf Oberflächen. Denn im Zeitalter des Verstärkenden Lernens sind diese wenig schmeichelhaften „schmutzigen Daten“ der seltenste Treibstoff.

Bos meint, diese internen Spannungen und Schmerzen seien genau das, was er einmal in einem Blogbeitrag zur Neurobiologie geschrieben hatte – „Schmerz ist Rehabilitation“ (Pain is rehab): Ohne den schmerzhaften Entzug kann sich das System nicht wirklich neu formen. In diesem Gespräch sprach er darüber, warum das universelle monolithische Großmodell bereits tot ist, warum er sich weigert, die App für den Toaster zu Hause zu installieren – und seine Vision einer zukünftigen Brille, die keinen App-Store braucht:

LLaMA 3 hat alle technischen Routen vorzeitig aufgebraucht und LLaMA 4 eine leere Pipeline hinterlassen. Bei der Entwicklung von LLaMA 3 hat Meta alle technischen Reserven erschöpft, um den Erfolg dieser Version zu sichern. Das führte dazu, dass bei der Arbeit an LLaMA 4 eine technische Lücke entstand – bei den heute zentralen Bereichen Reasoning und Mixture of Experts (MoE) musste man komplett von Null an neu forschen.

Die Ära des universellen monolithischen Großmodells ist vorbei: Künftig übernehmen kleine Modelle und Multimodalität ihre jeweiligen Aufgaben. Früher glaubte die Branche blind daran, ein einziges monolithisches Großmodell mit Billionen von Parametern zu bauen, das alle Probleme löst. Der Trend heute ist: Extrem teure, hochintelligente Modelle werden nur für die komplexesten Aufgaben verwendet – fast alle üblichen täglichen Arbeiten werden an günstige, latenzarme und vertikale kleine Modelle verteilt.

Große Konzerne haben ihre eigene Überlebenslogik: Wer seine Trümpfe nicht selbst kontrolliert, muss sich von anderen den Preis diktieren lassen. Meta schließt es nicht aus, Modelle von OpenAI oder Anthropic zu mieten, um interne oder externe Produkte zu testen – aber das unternehmenseigene Grundmodell muss absolut wettbewerbsfähig sein. Das ist der einzige Trumpf, um auf dem Verhandlungstisch keine hohen „Mieten“ an Konkurrenten zahlen zu müssen.

Meta gibt zu, dass die interne Verwaltung der „Markierung von Codedaten“ extrem schlecht organisiert war. Um das strategische Fenster für das Codierungs-Finetuning zu nutzen, zwang Meta Tausende von Ingenieuren, die reguläre Software schreiben, in das KI-Markierungsteam zu wechseln. Die Führung war zu eilig und erklärte zu wenig – es entstand sogar eine extreme Konfrontation, in der Mitarbeiter Medien von „Zwangsarbeit im Konzentrationslager“ berichteten. Der CTO räumte ein, dass dies ein echtes Management-Versagen war.

Die Verfolgung von Mitarbeiter-Interaktionsspuren dient dazu, die größte Schwäche der KI zu beheben – nämlich „mit Computern umgehen“. Obwohl KI erstaunliche Ergebnisse beim Schreiben von Gedichten und Lösen schwieriger Aufgaben zeigt, ist sie bei komplexen echten Software-Oberflächen und Betriebssystemen noch ungeschickt. Meta überwacht die Tastatureingaben und Klicks von Top-Programmierern, um der KI die unbewussten Verhaltensweisen bei der Mensch-Computer-Interaktion beizubringen – damit sie lernt, verschiedene Bürotools zu nutzen.

AR-Brillen brauchen keine Software-Stores – die Ära der Apps wird vorübergehen. Wir brauchen keine eigene App für jedes Elektrogerät, wie zum Beispiel einen Toaster: Der CTO weigert sich bis heute stur, die dazugehörige App zu installieren. Im zukünftigen Ökosystem von AR-Brillen wird die KI jede App, die du brauchst, sofort im Hintergrund kompilieren (Vibe-Coding) und erstellen – Dienste werden vollständig automatisch im Hintergrund zugeordnet und aufgerufen.

Der Weg zur Spitzen-KI, Modellvermietung und die Probleme der Consumer-KI

Moderator: Bos, schön dich zu sehen. Bevor wir anfingen, haben wir gerade darüber geredet, wie verrückt die Situation in der Tech-Branche jetzt ist. Soweit ich mich erinnere, gab es noch nie eine solche Entwicklungsgeschwindigkeit.

Das Herzstück davon sind KI-Modelle. Sie sind die Grundlage von allem – ohne ein funktionierendes, sogar führendes KI-Modell ist es schwer, darauf aufbauend etwas zu entwickeln.

Lange Zeit lautete die Theorie der Branche: Um ein hervorragendes KI-Modell zu bauen, brauchst du riesige Mengen an Rechenleistung und Spitzenforscher, die die Algorithmen verfeinern. Meta hat zufällig massenhaft Rechenleistung und ein Spitzen-Forscherteam für Algorithmen – aber ein führendes KI-Modell ließ lange auf sich warten.

Kannst du uns erzählen, was ihr daraus gelernt habt? Ist die grundlegende Annahme, die man für den Bau von Spitzen-KI-Modellen braucht, vielleicht an sich fehlerhaft?

Andrew Bosworth: Ich möchte noch ein Element hinzufügen: Hochwertige Daten. Und das habt ihr ja auch.

Moderator: Das habt ihr definitiv.

Andrew Bosworth: Das denke ich auch.

Es gibt hier eigentlich zwei Handlungsstränge. Der erste: Wenn man auf Llama 1, Llama 2 und Llama 3 zurückblickt, waren wir damals wirklich an der Spitze und haben das gesamte Feld vorangebracht. Wie du weißt, existiert das Facebook Fundamental AI Research (FAIR) Team schon seit über einem Jahrzehnt.

Ich selbst habe dort zum ersten Mal die Dynamik im KI-Bereich gespürt – damals tauchte in meinem Feed ein KI-Chatbot auf. Später lernte ich Yann (LeCun) kennen und kam mit den Leuten von FAIR in Kontakt. Ich dachte mir: Oh, diese Technologie entwickelt sich wirklich schnell. Also war Meta sehr früh dabei.

Der eigentliche Rückstand – das ist inzwischen fast ein offenes Geheimnis – lag darin, dass wir das Problem damals nicht erkannt haben. Bei der Integration von Llama 3 haben wir fast alle verfügbaren Forschungsergebnisse eingebracht und alle Ressourcen mobilisiert – und damit unbeabsichtigt die nachfolgende Entwicklungs-Pipeline abgeschnitten.

Das System funktioniert so: Man baut zuerst ein Grundmodell, ein Teil des Teams arbeitet an schrittweisen Verbesserungen darauf auf, während ein anderer Teil völlig neue technische Pfade erforscht. Aber wir haben das damals nicht erkannt – das zeigt, dass wir dem Thema nicht genug Aufmerksamkeit geschenkt haben. Dass Llama 3 dieses Niveau erreichte und ein weithin gelobtes gutes Modell wurde, lag tatsächlich daran, dass das Team alle zukünftigen technischen Reserven vorzeitig eingesetzt hat, um dieses Modell auszuliefern.

Als wir dann an Llama 4 arbeiteten, hatten wir keine explorativen Ergebnisse mehr, die andere Labore noch vorantrieben. Also fielen wir bei der Reasoning-Fähigkeit zurück, bei Mixture of Experts (MoE) und bei einer ganzen Reihe von Schlüsseltechnologien, die den Fortschritt der Branche stützen.

Ich denke, das war vor etwa einem Jahr für uns eine ziemlich öffentliche Enttäuschung. Es hat Mark (Zuckerberg) dazu gebracht, die Position von KI zu ändern – von „OK, KI ist eine unserer vielen Wetten“ (so haben wir es vorher gesehen) hin zu: KI ist eine Wette, die die gesamte Grundlage des Unternehmens betrifft, und wir müssen unsere Herangehensweise vollständig ändern.

Das Wort klingt etwas klischeehaft, aber ich finde kein passenderes: „Gründermodus“ (founder mode). Mark wechselte wirklich in einen einzigartigen Zustand, der nur ihm eigen ist – er konzentrierte sich voll und ganz darauf, uns alle benötigte Rechenleistung und alle benötigten Talente zu sichern. Die Forscher, von denen du sprichst, sind vor etwa einem Jahr offiziell zu uns gestoßen.

Alexander Wang hat kürzlich sein einjähriges Jubiläum im Unternehmen gefeiert. Es macht mir viel Spaß, mit ihm zusammenzuarbeiten, und ich habe schon viel von ihm gelernt. Die Ergebnisse dieser Investitionen sehen wir jetzt.

Schau dir Muse Spark an – unser neuestes veröffentlichtes Modell. Es ist noch nicht unser Spitzenmodell, aber es hat bereits sehr positive Resonanz erhalten. Es schneidet in verschiedenen Benchmarks unterschiedlich ab – aber in den Bereichen, die uns am wichtigsten sind und die unserer Meinung nach die Einzigartigkeit des Produkts am besten widerspiegeln, ist seine Leistung ziemlich beeindruckend.

Also ja, du hast vollkommen recht: Was die öffentliche Wahrnehmung der Modelle angeht, befinden wir uns genau in der Situation, die du beschreibst. Aber wir haben ein Team aufgebaut, dem ich wirklich vertraue – und wir haben genug Rechenleistung und Daten. Ich bin sehr zuversichtlich, dass wir die Position erreichen werden, die wir verdienen.

Ich möchte einen zweiten Punkt hinzufügen, der meiner Meinung nach strategisch sehr wichtig ist: Modelle kann man auch „mieten“. Du kannst Modelle von Anthropic, OpenAI oder Google nutzen. Das sind alles großartige Modelle, die man direkt verwenden kann – das ist natürlich gut.

Aber der Wert, den wir für die Welt schaffen wollen, sind Produkte. Unsere Vision von „persönlicher Superintelligenz“ (personal superintelligence) ist etwas, das nur wir auf einzigartige Weise realisieren können. Das liegt nicht nur an unseren Daten – das ist cool, aber wichtiger ist: Wir verstehen dich besser als fast jedes andere Unternehmen – was du tun willst, wer du in dieser Welt bist und was dir wirklich wichtig ist.

Ein eigenes Modell ist also ein Teil des Puzzles. Du brauchst es aus strategischen Gründen, um nicht von anderen abhängig zu sein – und vor allem, um dein eigenes Schicksal zu kontrollieren. Aber das Modell selbst ist nicht der eigentliche Wert.

Ich glaube, wir werden bald in einer Welt leben, in der Verbraucher es völlig egal ist, welches Modell sie nutzen. Sie wollen nicht angeben, ob sie Version 4.7 oder 4.8 verwenden – genau wie es dir egal ist, ob ich eine Oracle- oder SQL-Datenbank nutze. Du willst nur die Funktion, dass das Ding funktioniert. Das ist meiner Meinung nach der Maßstab, an dem wir alle letztendlich gemessen werden.

Dass heute alle über Modelle diskutieren, zeigt zumindest, dass wir uns auf der „Nutzerseite“ – also was die Menschen wirklich davon haben – noch nicht genug konzentrieren. Neben der Präsentation unserer technischen Ergebnisse ist das die Geschichte, die wir wirklich gut erzählen müssen: Wir müssen den Verbrauchern diesen Wert konkret beweisen.

Die Ära, in der ein „monolithisches Großmodell“ alles beherrscht, ist vorbei

Moderator: Ich möchte zuerst über die technische Seite sprechen. Meine Ausgangsfrage war: Kann man durch „rohe Ressourcenaufstockung“ auf brute-force-Weise ein wettbewerbsfähiges Modell bauen?

Ich verstehe dich so: Das geht heute nicht mehr. Denn neue Technologien wie MoE oder Reasoning erfordern eine gewisse feine Verfeinerung des grundlegenden vortrainierten Modells – um die Spitzenmodelle zu bauen, die wir heute sehen. Genau das ist das Thema, an dem Meta gerade arbeitet.

Andrew Bosworth: Genau, und das gilt übrigens nicht nur für uns, sondern für die gesamte Branche.

Die Ära des „monolithischen Modells“ ist ungefähr mit der Veröffentlichung von Llama 3 zu Ende gegangen. Die alte Idee „nur ein einziges Modell, wir testen, wie schlau es ist – und das repräsentiert seine Leistung in allen Bereichen“ funktioniert nicht mehr. Wir leben in einer Welt, in der egal ob du OpenCode, Claude Code oder Codex nutzt – diese „Harness“ (intelligente äußere Planungsrahmen) im Hintergrund je nach Aufgabentyp dynamisch verschiedene Modelle aufrufen.

Zum Beispiel könnte es ein multimodales Modell aufrufen. Wenn du Gemini nutzt und eine Bildgenerierungsaufgabe hast, verteilt es die Arbeit an Nano Banana. Wir sind längst aus der Welt heraus, in der „ein einziges Modell alles beherrscht“.

Was du wirklich brauchst, ist ein extrem teures, hochintelligentes Modell, das du auf spannende Weise und in verschiedenen Szenarien zu kleineren Versionen „destillierst“ (distill). Du rufst das Original nur dann auf, wenn du seine ausgefeilte Intelligenz wirklich brauchst – denn die Ausführung solcher Modelle ist sehr teuer. In allen anderen Szenarien, die keine geniale Intelligenz brauchen, nutzt du günstigere, schnellere und latenzärmere Modelle.

Wenn du dir alle Aufgaben vorstellst, die Menschen erledigen müssen – ich glaube fest an die „Scaling Laws“ (Skalierungsgesetze): Mit wachsender Rechenleistung steigt die rohe Intelligenz der Modelle stetig entlang einer Kurve nach oben. Aber der Bedarf an Intelligenz für menschliche Aufgaben ist nicht unendlich. Viele Aufgaben lassen sich mit durchschnittlicher Intelligenz problemlos erledigen.

Also glaube ich, dass es bald eine „Hierarchie“ geben wird: Die Frage ist nicht mehr „welches Modell beherrscht alles?“, sondern „wie kann man eine Gruppe von Modellen kombinieren, um diese Probleme mit dem perfekten Gleichgewicht aus Leistung, Preis und Wert zu lösen?“.

Ein wettbewerbsfähiges eigenes Großmodell ist der Trumpf, um sich vor erpresserischen „Mieten“ auf dem Verhandlungstisch zu schützen

Moderator: Du hast gerade ein paar sehr interessante Punkte genannt. Erstens: Das Wichtige sind die Produkte – da stimme ich dir zu. Und ein eigenes Modell ist wichtig für die „eigene Kontrolle“.

Lass uns darüber sprechen. Du hast sicherlich Apples Vorgehen gesehen: Sie haben eine Vereinbarung mit Google getroffen, um Gemini zu destillieren – oder eine Art abgeleitete Version von Gemini zu erstellen. Frühen Berichten zufolge funktioniert