Wer baut das größte grundlegende Large Language Model Europas?

Nachrichten von Chaoxun: Die Sberbank der Russischen Föderation (Sber) ist eine der größten Banken Russlands, aber weit mehr als nur ein Finanzinstitut. In den letzten Jahren hat das Unternehmen kontinuierlich an generativer künstlicher Intelligenz gearbeitet und ist heute einer der führenden Entwickler auf diesem Gebiet in Russland sowie der Schöpfer des größten grundlegenden Sprachmodells in Europa. Fyodor Minkin, Technischer Direktor des GigaChat-Basismodells, leitet die GigaChat-Produktlinie. Kürzlich hat das Team das neue Flaggschiff-Modell GigaChat 3.5 Ultra vorgestellt: Dieses Modell ist fast halb so groß wie die vorherige Version, erzeugt lange Texte bis zu viermal schneller und ist robuster bei der Verarbeitung von Code, Mathematik und Szenarien für intelligente Agenten. Sein Kern liegt in einer eigenen Architektur, die auf linearer Aufmerksamkeit basiert – die Sberbank hat diese als Open-Source veröffentlicht. Wir sprachen mit Fyodor über die strategischen Schwerpunkte der Sberbank in der KI-Forschung und -Entwicklung.

Fyodor Minkin, Technischer Leiter des GigaChat-Basismodells

Die Wahl der linearen Aufmerksamkeit als Grundlage für die Architektur des Flaggschiff-Modells. Warum diese Entscheidung? Welche Risiken wurden bei der Wette auf diese Technologie vorhergesehen?

Wenn das Modell lange Texte verarbeitet – beispielsweise einen 100-seitigen Vertrag – wird der gesamte Text während des gesamten Gesprächs im Gedächtnis des Modells behalten. Je länger der Text ist und je mehr Interaktionen der Nutzer mit dem Modell hat, desto schneller füllt sich das Gedächtnis. Bei jeder neuen Anfrage muss das Modell den gesamten Kontext von Grund auf neu verarbeiten – dies macht die Verarbeitung langer Dokumente immer langsamer und teurer.

Wir setzten auf die lineare Aufmerksamkeit – eine Technologie, die es dem Modell ermöglicht, die Kernpunkte des Gelesenen auf einmal zu merken und das Gedächtnis während der Arbeit stetig zu ergänzen. Dadurch kann das Modell lange Texte bis zu viermal schneller verarbeiten. Darüber hinaus haben wir die Größe des Modells fast halbiert – das bedeutet, dass die Bereitstellung günstiger und einfacher wird. Zu diesem Zeitpunkt war es noch ungewiss, ob wir die Intelligenz und Qualität des Modells beibehalten können, während wir die Geschwindigkeit steigern und die Größe verringern. Wir führten mehr als 1500 Experimente durch, um das richtige Gleichgewicht zu finden – und schließlich eines der größten linearen Aufmerksamkeitsmodelle im heutigen Open-Source-Bereich auf den Markt zu bringen.

KI-Entwickler setzen in der Regel auf mehr Daten, mehr Parameter und mehr Rechenleistung. Sie hingegen haben das Modell halbiert. Wo liegt Ihrer Meinung nach die aktuelle Grenze für eine vernünftige Skalierung?

Mit jedem Schritt nach oben in der Modellskalierung steigen die Kosten unverhältnismäßig stark gegenüber dem vorherigen Schritt – an einem bestimmten Punkt verschwendet das Unternehmen enorme Ressourcen für nur minimale Qualitätsverbesserungen. Wir definieren diese Grenze über die Effizienz: also darüber, wie viel praktischen Wert das Modell pro Einheit an Rechenleistung liefert. GigaChat 3.5 Ultra ist fast halb so groß wie die vorherige Version, erreicht aber bei vielen Metriken bereits Ergebnisse, die denen von weit größeren Open-Source-Modellen (wie DeepSeek 3.2) nahekommen. Das bedeutet: Bei geeigneter Architektur und Datenauswahl kann ein kleineres Modell durchaus mit größeren Modellen konkurrieren. Die Branche erlebt derzeit einen wichtigen Wandel: Heute ist es entscheidender, wer durch ausgeklügelte Ingenieurskunst den maximalen Wert aus vorhandenen Ressourcen herausholen kann. Für mich ist vernünftige Skalierung vor allem eine Frage der umsichtigen Nutzung jeder einzelnen Berechnung.

Welche grundlegenden Einschränkungen der aktuellen Architekturen großer Sprachmodelle verhindern, dass die Modelle zu wirklich zuverlässigen autonomen Agenten werden?

Der Markt erlebt derzeit einen wichtigen Wandel hin zu autonomen Agenten. Autonome Agenten müssen per Definition selbstständig handeln: Aufgaben ausführen, die lange Kettenschritte erfordern, bei jedem Schritt Entscheidungen treffen, frühere Handlungen überprüfen, externe Signale erfassen und weitere Schritte planen. Technisch erfordert dies, dass das Modell mehrere Fähigkeiten gleichzeitig besitzt: gute Planungsfähigkeiten, die Auswahl geeigneter Werkzeuge für bestimmte Aufgaben, die Fähigkeit, die Aufmerksamkeit in extrem langen Kontexten aufrechtzuerhalten – und vor allem die Fähigkeit, die Zuverlässigkeit der Ergebnisse selbst zu bewerten. Letzteres müssen wir noch stärker ausbauen. Ich glaube, die größten Einschränkungen von heute sind nicht einmal architektonischer, sondern organisatorischer Natur: Die echten Geschäftsprozesse in Unternehmen haben sich über Jahrzehnte nicht verändert. Echte skalierbare Anwendungen für intelligente Agenten werden nicht dadurch entstehen, dass Modelle etwas klüger werden – sondern dadurch, dass Unternehmen beginnen, ihre Arbeitsweisen selbst zu überdenken. Die Technologie erfordert eine neue Verteilung von Rollen und Verantwortlichkeiten: Was vollständig an Maschinen übergeben werden kann und was einer menschlichen Bestätigung bedarf.

Inwieweit sind von Menschen erzeugte Daten noch die Hauptressource für die Qualität von Modellen? Wie stehen Sie zu synthetischen Daten – ab welcher Grenze beginnen sie, das Modell zu schädigen, anstatt es zu verbessern?

Von Menschen erzeugte Daten bleiben die Hauptressource für die Qualität von Modellen – nur sie tragen echte fachliche Expertise und die lebendige Vielfalt des menschlichen Denkens sowie der Fähigkeit, unerwartete Lösungen zu entdecken. Synthetische Daten funktionieren gut in Szenarien, in denen Genauigkeit und Umfang wichtiger sind als Vielfalt, beispielsweise beim Training des logischen Denkens für Mathematik oder Code. Aber wenn synthetische Daten die Hauptquelle für Weltwissen werden, statt ein präzises Werkzeug zu sein, beginnt das Modell, aus seinen eigenen Reflexionen zu lernen: Fehler und Muster eines Modells werden in einem anderen festgeschrieben, und die Texte verlieren ihre Lebendigkeit. Deshalb legen wir in den Trainingsdatensätzen neuer Modelle den Schwerpunkt auf sorgfältig ausgewählte, von Menschen verfasste Texte.

Ist die Veröffentlichung des Flaggschiff-Modells als Open Source ein Wettbewerbsvorteil – oder eine notwendige Voraussetzung, um eine Entwickler-Community rund um diese Architektur aufzubauen?

Die globale Gemeinschaft unabhängiger Entwickler kann unseren Code schneller analysieren, seine Schwächen erkennen und Optimierungsvorschläge machen als ein einziges internes Team. Auf diese Weise entsteht rund um das Modell schneller ein Ökosystem aus Werkzeugen und Integrationen, und wir können von diesen Verbesserungen profitieren. Ein Open-Source-Modell ist eine ehrliche Möglichkeit, seine Stärken zu beweisen: Jeder kann es testen, die Ergebnisse reproduzieren und die Richtigkeit verschiedener Benchmarks überprüfen. Zusammen mit GigaChat 3.5 haben wir auch mehrere Trainings-Checkpoints veröffentlicht – im Wesentlichen Zwischenversionen des Modells in verschiedenen Phasen, die den Evolutionsprozess des Modells vom Beginn des Trainings bis zum Endzustand nachverfolgen lassen. Je mehr Open-Source-Modelle es auf der Welt gibt, desto stärker wird der gesamte Markt. Wir bemühen uns, in diese Richtung voranzuschreiten, auch wenn Teile der Branche den entgegengesetzten Weg einschlagen.

Welche architektonische Entwicklung ist in den nächsten 2 bis 3 Jahren am interessantesten: Die Entstehung von etwas völlig Neuem, das die Transformer-Architektur ersetzt – oder das Ausreizen der Grenzen bestehender Methoden?

Die Transformer-Architektur wird in den nächsten zwei bis drei Jahren nicht verschwinden – die Branche hat zu viel hineininvestiert und sie zu gründlich erforscht. Aber im letzten Jahr gab es erhebliche Veränderungen innerhalb der Transformer-Architektur: Varianten der linearen Aufmerksamkeit, spärliche Aufmerksamkeitsmechanismen und Mixture-of-Experts(MoE)-Architekturen sind entstanden. Das ist praktisch eine neue Generation von Architekturen, die auf alten Grundlagen aufbaut – und ich glaube, der größte Teil der Branche wird sich in diese Richtung bewegen. Gleichzeitig sind auch risikoreichere Richtungen interessant: Diffusions-Sprachmodelle, die Texte nicht Wort für Wort erzeugen, sondern zuerst ein gesamtes Segment auf einmal entwerfen und dann die Details verfeinern. Derzeit weisen diese Modelle noch Qualitätslücken auf, aber sie haben das Potenzial, die Generierung langer Antworten um ein Vielfaches zu beschleunigen – intern führen wir bereits entsprechende Experimente durch. Vor kurzem haben wir ein experimentelles Modell namens GFusion veröffentlicht, das genau diese Diffusionsansätze für Sprachmodelle erforscht. Interessanterweise war dieses Modell ursprünglich das Projekt eines Praktikanten in unserem Team – der es erfolgreich bis zur Veröffentlichung vorantrieb und inzwischen als festangestellter Mitarbeiter übernommen wurde.

Dieser Artikel stammt von „Chaoxun“, Autor: Felix, und wird mit Genehmigung von 36Kr veröffentlicht.