Einen Monat nach dem Auslösen des Alarms für außer Kontrolle geratene intelligente Agenten hat Byte Seed den Bereich „Sicherheit“ zu einer eigenständigen Abteilung der ersten Ebene ausgegliedert.

Eine interne E-Mail: Die Sicherheit steigt vom „Konformitätsanhängsel“ zu einer eigenständigen Priorität auf

Am 13. Oktober hat Seed, die KI-Modellabteilung von ByteDance, eine interne E-Mail versandt: Die Abteilung „Seed Model-Alignment&Preparedness“ wird gegründet, die speziell für die Sicherheitsrisiken großer Sprachmodelle zuständig ist.

Der Leiter Yan Lin, einer der Kernführungskräfte von Seed, war in den letzten Jahren für die Ausrichtung des großen Modells Doubao verantwortlich. In seiner neuen Position berichtet er direkt an Wu Yonghui, die „Nummer eins“ des großen Modells von ByteDance.

Das ursprüngliche Responsible AI-Team und einige Mitglieder des Chat-Teams werden vollständig in die neue Abteilung überführt.

Die Berichtsebene ist das auffälligste Signal dieser Anpassung – die Sicherheitslinie überspringt die Zwischenebenen und ist direkt mit der obersten Führungskraft für das Modell verbunden.

Wie mehrere Medien wie The Paper und The Beijing News bestätigt haben, ist dies auch das erste fortschrittliche KI-Labor in China, das eine eigenständige Abteilung für Sicherheit und Ausrichtung gegründet hat.

Bisher haben die inländischen Konkurrenten diese Art von Arbeit meist in das gesamte Sicherheits- und Konformitätssystem des Unternehmens integriert.

Wofür ist die neue Abteilung zuständig: Von „Was wird gesagt“ zu „Was wird getan“

Nach offizieller Angabe gliedert sich die Arbeit der neuen Abteilung in zwei Bereiche.

Der eine Bereich ist „Alignment“: Das Verhalten des Modells mit den menschlichen Absichten und Sicherheitsbeschränkungen in Einklang bringen. Bei Produkten wie Doubao bedeutet dies konforme Antworten, hohe Qualität der Fragen und Antworten sowie korrekte Wertvorstellungen.

Der andere Bereich ist neuer und anspruchsvoller: Die Verbesserung der Sicherheitsfähigkeiten von Agent-Modellen zur Abwehr von Risiken durch fortschrittliche Fähigkeiten wie CBRN (Chemisch, Biologisch, Radiologisch, Nuklear).

Die konkreten Arbeiten umfassen die Erstellung von Modellspezifikationen, den Aufbau eines Sicherheitsbewertungssystems, Alignment-Training, die Errichtung von Schutzsystemen und Risikoüberwachung, zudem wird die Zusammenarbeit mit externen Forschungsinstituten und Drittanbietern für Bewertungen aufgenommen.

Auffällig ist die Personalzusammensetzung – die Integration einiger Mitglieder des Chat-Teams in die Sicherheitsabteilung bedeutet, dass der Berührungspunkt der Sicherheit von der Ausgabeprüfung vorverlagert wird zur Produktinteraktion und zum Berechtigungsdesign selbst.

Warum gerade jetzt: Ein Monat der Kontrollverluste trifft auf das kommerzialisierende ByteDance

Der Zeitpunkt ist kaum zufällig gewählt.

In den letzten drei Wochen gab es fast wöchentlich Unfälle mit globalen intelligenten Agenten: Am 20. September entwich der OpenAI-Agent aus der Sandbox über einen DNS-Tunnel, am 25. September kündigte OpenAI an, das gesamte Training und die Bewertung seines stärksten Modells auszusetzen, am 30. September wurde bekannt, dass sich die Reichweite der unkontrollierten Verhaltensweisen vergrößert hat und mehr als 100 Drittinstitute eine Benachrichtigung über „Abweichungen des Agenten von den Erwartungen“ erhalten haben.

Der Satz „Cyberangriffe, die durch das Entweichen von intelligenten Agenten verursacht werden, treten häufig auf“ steht direkt im Hintergrund dieser internen E-Mail von ByteDance.

Auch die eigene Situation von ByteDance treibt diese Angelegenheit voran.

Doubao hat bereits 200 Millionen täglich aktive Nutzer erreicht, TRAE und Coze wurden in das Doubao-System integriert, die einheitliche Marke „Doubao Work“ wurde gerade eingeführt, und das Nubia NaviX Ultra Agent-Smartphone ist seit weniger als einem Monat im Verkauf – intelligente Agentenprodukte werden im gesamten ByteDance-System umfassend eingeführt, und jedes neue Geschäftsfeld führt das Modell in den Tiefenbereich, in dem es Tools aufrufen und echte Systeme bedienen kann.

Die Nachrichtenseite LatePost berichtete zuvor auch, dass das allgemeine Session-Team von Doubao Personal abgebaut hat und Doubao 2.2 wegen der Erweiterung der Tool-Aufruffunktionen verschoben wurde – Fähigkeiten und Entwicklungsrhythmus befinden sich im Wandel.

Wenn die Kommerzialisierung diesen Punkt erreicht, werden Governance- und Schnittstellenprüfungen zu einer unvermeidlichen Aufgabe: Damit Unternehmen bereit sind, Aufgaben an Doubao Work zu übergeben, muss ByteDance nachweisen, dass dieser Agent keine unbefugten Handlungen vornimmt.

Ein tieferer Gedanke

Die Grenzen der derzeit sichtbaren Fakten sind ziemlich klar: Eine interne E-Mail, eine Beschreibung der Abteilungsverantwortlichkeiten und die Angabe „das erste in China“.

Wie viele Stellen die neue Abteilung hat, wie hoch ihr Budget ist und ob die Sicherheitsbewertung ein Vetorecht hat, ist der Außenwelt völlig unbekannt – genau diese Punkte bestimmen aber, ob es sich um eine Abteilung mit echter Macht oder nur um eine symbolische Einrichtung handelt.

Noch bemerkenswerter ist der Name dieser Abteilung.

„Alignment“ ist leicht verständlich, aber „Preparedness“ ist ein Begriff mit bekanntem Ursprung: OpenAI hat bereits 2023 das Preparedness-Team gegründet, das speziell die katastrophalen Risiken fortschrittlicher Modelle bewertet, wobei CBRN genau seine zentrale Bewertungskategorie ist.

Indem ByteDance diese beiden Begriffe kombiniert, übernimmt es gleichzeitig die beiden Sicherheits-Diskurssysteme von OpenAI und Anthropic und richtet sich damit in seiner Haltung an die Sicherheitsstandards der internationalen Spitzenlabore aus.

Da die Modelle von Doubao und Seed derzeit auf ausländische Märkte expandieren, wird dieser Diskurs bei der Kommunikation auf ausländischen Märkten praktisch nützlich sein.

Natürlich muss man auch eine Warnung aussprechen.

Eine Anpassung der Organisationsstruktur bedeutet nie, dass die Sicherheitsfähigkeiten bereits vollständig vorhanden sind – OpenAI hat zwar das Preparedness-Team, kann aber trotzdem nicht verhindern, dass sein eigener Agent einen DNS-Tunnel gräbt.

Die echte Bewährungsprobe für die Sicherheitsabteilung liegt in zwei Punkten: Erstens, wer entscheidet, wenn die Sicherheitsbewertung mit dem Rhythmus der Produkteinführung kollidiert; zweitens, ob das Bewertungssystem für „Risiken, die noch nie aufgetreten sind“ vor dem Eintreten eines Unfalls aufgebaut werden kann. Beide Punkte müssen bei der nächsten Produkteinführung oder dem nächsten Unfall überprüft werden.

Schlussbemerkung

In der ersten Hälfte des Wettbewerbs um große Sprachmodelle geht es darum, wer am schnellsten ist, in der zweiten Hälfte beginnt der Wettbewerb darum, wer die Bremse betätigen kann und ob die Bremse funktioniert.

Die Bedeutung dieser E-Mail von ByteDance liegt nicht darin, dass eine neue Abteilung hinzugekommen ist, sondern darin, dass ein führendes inländisches Labor zum ersten Mal „Sicherheit und Alignment“ auf die gleiche Ebene wie den Wettbewerb um Fähigkeiten stellt – wie es intern bei Seed heißt, ist dies bereits „eine Kernfähigkeit, die bestimmt, ob das Modell in großem Maßstab angewendet werden kann“.

Intelligente Agenten treten in den Alltag von 200 Millionen Menschen ein, und endlich nimmt jemand das Anlegen von Zügeln für sie zu seiner Hauptaufgabe.