ByteDance Seed-Team entdeckt bahnbrechende Skalierungsvariable für Text-zu-Bild-Generierung

Caption ist die Hauptschnittstelle, über die Bildinhalte in das text-konditionierte Lernen einfließen.

Text-zu-Bild-Modelle erweitern ständig Modellumfang, Datenumfang und Rechenleistung, aber der Informationsgehalt der zu den Trainingsbildern gehörenden Captions wird selten als unabhängige Variable systematisch untersucht. Das ByteDance Seed-Team stellte fest: Dass die Caption in natürlicher Sprache länger wird, bedeutet nicht, dass das Modell mehr verfügbare visuelle Überwachung erhält; im Vergleich zur Länge kann der mit dem Bild verbundene Informationsgehalt in der Caption den endgültig erreichten Trainingsverlust des Diffusionsmodells besser vorhersagen.

Auf dieser Grundlage schlägt das Team Structured Prompt vor und verbessert die Textbedingung sowohl auf der Seite der Diffusability als auch auf der Seite der Promptability, was schließlich zu einer deutlichen Leistungssteigerung bei komplexen Kombinations-, Inferenz- und Weltwissensgenerierungsaufgaben führt.

Abbildung 1 der Arbeit｜Die Länge der natürlichen Sprache sättigt sich schnell; die strukturierte Bedingung erhöht kontinuierlich die Bildinformation und senkt den Diffusionstrainingsverlust entlang einer einheitlichen Beziehung.

In den letzten Jahren verlief der Fortschritt von Text-zu-Bild-Modellen fast entlang eines bekannten Pfades: größere Modelle, mehr Daten und höhere Trainingsrechenleistung.

Zwischen Text-zu-Bild-Modellen und Sprachmodellen besteht jedoch ein leicht zu übersehender Unterschied. Sprachmodelle können direkt aus Textsequenzen selbstüberwachtes Lernen durchführen; Text-zu-Bild-Modelle hingegen sind auf die Paarung von Bildern und Captions angewiesen, um zu lernen, „welche Art von Text welchen visuellen Inhalt entspricht“. Ein Bild kann zahlreiche Objekte, Eigenschaften, Positionen, Aktionen und Beziehungen enthalten, aber nur der Teil, der in der Caption genau beschrieben und klar gebunden ist, kann als Textbedingungsüberwachung an das Modell übermittelt werden.

Daraus ergibt sich eine grundlegende Frage: Können wir neben der weiteren Erweiterung von Modell, Daten und Rechenleistung den Generierungsmodellen helfen, besser zu lernen, indem wir den mit der Caption verbundenen Bildinformationsgehalt erhöhen?

In dieser neuen Arbeit untersucht das ByteDance Seed-Team diese Frage. Die Kernschlussfolgerung lässt sich in einem Satz zusammenfassen:

Was sich wirklich mit der Textbedingung skaliert, ist nicht die Anzahl der Tokens in der Caption, sondern der darin enthaltene, vom Modell nutzbare Bildinformationsgehalt.

Titel der Arbeit: Scaling Properties of Text Conditioning in Visual Generation
Autoren: Zilong Chen, Chaorui Deng, Kunchang Li, Hongyi Yuan, Haoqi Fan Einrichtung: ByteDance Seed
Arbeit: https://arxiv.org/abs/2607.29679
Projektseite: https://heheyas.github.io/context-scaling
Code: https://github.com/heheyas/context-scaling
Modell: https://huggingface.co/collections/heheyas/context-scaling
Online-Demo: https://heheyas-context-scaling.hf.space/
Hugging Face Paper: https://huggingface.co/papers/2607.29679

Die Prompt wird länger,

warum wird das Modell nicht leistungsfähiger?

Eine intuitive Vorgehensweise besteht darin, die Trainings-Captions oder Benutzer-Prompts länger und detaillierter zu gestalten. Mehr Tokens scheinen mehr Überwachung zu bedeuten und sollten dem Modell helfen, komplexere Bilder zu generieren.

Die Experimente liefern jedoch ein anderes Ergebnis. Bei zahlreichen vorhandenen quelloffenen Text-zu-Bild-Systemen sättigen sich natürliche Sprach-Prompts mit zunehmender Länge schnell, und die endgültige Leistung liegt sogar unter der der kürzesten jeweiligen Prompt. Selbst wenn das Diffusionsmodell speziell auf denselben langen Text-Captions trainiert wird, ist der Nutzen sehr begrenzt.

Um dieses Phänomen genauer zu verstehen, entwarf das Team ein Bildrekonstruktionsexperiment mit festem Backbone-Netzwerk. Für dasselbe Referenzbild erzeugte das Team ausgehend von derselben vollständigen Annotation vier natürliche Sprach-Captions mit zunehmendem Detaillierungsgrad, und versuchte dann, das Bild mit demselben Qwen-Image-Modell und demselben Zufallsseed zu rekonstruieren. Diese Captions beschreiben dieselben Entitäten und Beziehungen, und die späteren Versionen erhöhen die Länge hauptsächlich durch Ergänzung und Ausweitung der natürlichen Sprachausdrücke.

Überraschenderweise verbessert sich die Bildrekonstruktionsqualität kaum, obwohl die Caption deutlich länger wird. Die neu hinzugefügten Prosa-Inhalte dienen hauptsächlich der Erklärung, Umformulierung oder Verbindung bereits vorhandener Inhalte, und fügen keine neuen, stabil nutzbaren visuellen Variablen kontinuierlich hinzu.

Abbildung 3 der Arbeit｜Rekonstruktionsexperiment mit festem Backbone: Die Rekonstruktion sättigt sich, wenn die natürliche Sprach-Caption weiter verlängert wird, während die schrittweise Wiederherstellung der SP-Felder zu einer kontinuierlichen Verbesserung führt.

Dies zeigt, dass die Länge der Caption nur eine schwache Proxy-Variable ist. Ein Text kann sehr lang sein, aber immer noch nicht klar angeben, welche Eigenschaft zu welchem Objekt gehört, welche Beziehung zwischen zwei Objekten besteht, wo sich die Objekte jeweils befinden und welche Tiefenebene sie im Bild einnehmen.

Wie misst man den tatsächlichen Bildinformationsgehalt in einer Caption?

Wenn die Anzahl der Tokens nicht ausreicht, um die Stärke der Überwachung zu messen, muss der mit dem Bild verbundene Informationsgehalt in der Caption direkt gemessen werden. Zu diesem Zweck hat das Team zwei komplementäre Metriken aus vorhandenen Arbeiten angepasst: Grounded Perplexity Gain (GPG) und Effective Detailness (ED).

GPG: Um wie viel macht das Bild die Caption „vorhersehbarer“.

GPG ist eine White-Box-Metrik, die die Token-Wahrscheinlichkeiten des Modells auslesen muss. Für dieselbe Caption ließ das Team ein eingefrorenes visuell-sprachliches Modell das zugehörige Bild einmal sehen und einmal nicht, und berechnete die Verbesserung der Log-Likelihood der Inhalts-Tokens der Caption nach dem Erscheinen des Bildes. Wenn die Caption zahlreiche Informationen enthält, die eng mit dem Bild verbunden sind, sollte das Sehen des Bildes die Vorhersagefähigkeit des Modells für diese Tokens deutlich verbessern.

ED: Wie viele zuverlässige Bildeigenschaften deckt die Caption ab.

ED ist eine Black-Box-Semantikmetrik, die nicht auf Token-Wahrscheinlichkeiten angewiesen ist. Sie extrahiert Eigenschaften mit Entitätskontext aus Bild und Caption separat, und berechnet dann die Genauigkeit der Caption-Eigenschaften und die Rückrufrate der Bildeigenschaften. Schließlich wird F0.5 verwendet, das der Genauigkeit mehr Gewicht verleiht, um Beschreibungen in der Caption, die keine Bildgrundlage haben, stärker zu bestrafen.

Die beiden Metriken beschreiben dasselbe Problem aus unterschiedlichen Perspektiven: GPG konzentriert sich auf die statistische Abhängigkeit zwischen Bild und Text, ED darauf, ob die Caption die überprüfbaren visuellen Inhalte genau abdeckt.

Abbildung 6 der Arbeit｜Definition und Messverläufe von GPG und ED.

Der Informationsgehalt der Caption kann den Trainingsverlust des Diffusionsmodells vorhersagen

Anschließend behält das Team Bild, Modellarchitektur, Initialisierungsmethode, Optimierungskonfiguration und Trainingsbudget fest bei, und ändert nur die Trainings-Captions. Das gesamte Experiment umfasst 15 Caption-Konfigurationen: drei Versionen in natürlicher Sprache unterschiedlicher Länge, sechs Structured-Prompt-Versionen mit schrittweiser Wiederherstellung von Feldern sowie sechs Varianten mit räumlichen Ausdrücken oder Feldmaskierung. Jede Konfiguration beginnt mit demselben BAGEL-Continued-Training-Checkpoint, und trainiert unabhängig ein Diffusionsmodell.

Die Ergebnisse zeigen, dass keine einheitliche Beziehung zwischen der Token-Anzahl der natürlichen Sprach-Captions und dem Trainingsergebnis besteht; aber wenn die horizontale Achse durch den Caption-Informationsgehalt ersetzt wird, liegen die Konfigurationen unterschiedlicher Formate und Detaillierungsgrade auf einer hochgradig regulären Kurve:

Der konvergierte Diffusionsverlust steht in annähernd linearer Beziehung zu GPG, mit einem Pearson r = -0,984;
Der konvergierte Diffusionsverlust folgt einer Potenzgesetz-Beziehung zu ED, mit einem Pearson r = -0,971 im Log-Log-Raum;
Die Rangfolge der verschiedenen Caption-Konfigurationen durch GPG und ED ist ebenfalls hochgradig konsistent, mit einem Spearman ρ = 0,96.

Das Team nennt dies die Scaling-Eigenschaften der Textbedingung. Es handelt sich nicht um ein theoretisches Gesetz, das für alle Modelle gilt, sondern um eine empirische Kalibrierung, die unter festgelegter Architektur und Trainingsrezept erhalten wird. Es bringt jedoch zwei unmittelbare Vorteile.

Erstens verwandelt es den Caption-Informationsgehalt aus einem vagen Konzept der „Datenqualität“ in eine steuerbare und messbare Trainingsvariable: Bei unverändertem Modell, Bild und Rechenleistung kann der Informationsgehalt den endgültig erreichten Trainingsverlust des Modells vorhersagen.

Zweitens können nach Abschluss einer Kalibrierung unter demselben Trainingsrezept zuerst GPG oder ED verwendet werden, um die Kandidaten-Caption-Lösungen zu vergleichen, bevor entschieden wird, ob das kostspielige Training des Diffusionsmodells durchgeführt wird. Bei sechs Caption-Varianten, die nicht in die Anpassung einbezogen waren, konnten die beiden Metriken deren konvergierten Verlust noch relativ genau vorhersagen.

Abbildung 7 der Arbeit｜Bei festem Trainingsrezept besteht eine stabile Beziehung zwischen dem konvergierten Verlust und dem Caption-Informationsgehalt.

Structured Prompt:

Machen Sie die Informationen nicht nur reichhaltiger, sondern auch einfacher für das Modell nutzbar

Die vorherigen Experimente enthüllten einen wichtigen Punkt: Die bloße Erhöhung der Prosa in natürlicher Sprache reicht nicht aus, die neu hinzugefügten Informationen müssen zudem auf stabile und klare Weise organisiert werden.

Daher schlägt das Team Structured Prompt (SP) vor, das die visuellen Variablen in einem Bild in strukturiertem JSON darstellt. Es umfasst drei Ebenen:

Globale Ebene: Bildabsicht, Szene, Atmosphäre, Stil, Beleuchtung und fotografische Informationen;
Elementebene: Identität, Eigenschaften, Aktionen, Position, optionale Tiefe und lokale fotografische Informationen jedes Subjekts;
Beziehungsebene: Positionen, Verdeckungen, Interaktionen und semantische Beziehungen zwischen verschiedenen Elementen.

Im Vergleich zu Freitext liegt der entscheidende Vorteil von SP nicht nur im Aussehen als „JSON“, sondern darin, dass verschiedene visuelle Variablen in benannte Felder gelangen, wodurch Mehrdeutigkeiten bei der Zuordnung von Eigenschaften, räumlichen Beziehungen und Objektbindungen reduziert werden. Im Rekonstruktionsexperiment mit festem Backbone verbessert sich die Rekonstruktionsqualität kontinuierlich, wenn die SP-Felder schrittweise wiederhergestellt werden; im vollständigen Trainings-Sweep führt die zunehmende Feldabdeckung gleichzeitig zu höherem GPG, höherem ED und niedrigerem konvergierten Diffusionsverlust.

Abbildung 5 der Arbeit｜Structured Prompt organisiert globale, elementare und elementübergreifende visuelle Variablen in benannten Feldern.

Um vollständige SP für große Trainingsdatensätze zu generieren, hat das Team eine Image-to-SP-Annotationspipeline aufgebaut. Ein allgemeines VLM übernimmt die globale Semantik und den lokalen Inhalt, Sapiens ergänzt Hinweise zur menschlichen Haltung, DepthAnything V2 liefert die relative Tiefe, SAM 2.1 liefert Masken und Verdeckungshinweise, und schließlich organisiert das VLM diese Informationen zu einem konsistenten vollständigen SP.

Abbildung 8 der Arbeit