Es erzeugt in nur 10 Sekunden direkt 4K-Bilder, kann CAD-Zeichnungen anfertigen und mechanische Konstruktionen zerlegen – dieses Open-Source-Bildmodell von MiniMax hat es wirklich in sich.

Nach einem Bericht von Zhidongxi am 11. November veröffentlichte MiniMax spät in der vergangenen Nacht offiziell das Bildgenerierungsmodell der neuen Generation H3-Image und öffnete gleichzeitig die Gewichte des Modells.

Laut den praktischen Rückmeldungen vieler Nutzer ist das Niveau von H3-Image bereits in der Lage, mit den weltweit führenden Bildgenerierungsmodellen zu konkurrieren, und erreicht bei quelloffenen Bildmodellen das SOTA-Niveau. Was die Geschwindigkeit betrifft, kann die Hochgeschwindigkeitsversion von H3-Image ein hochauflösendes 4K-Bild mit 4096×4096 Pixeln (16 MP) in etwa 10 Sekunden generieren, und die benötigte Zeit beträgt nur 1/5 des Niveaus der gängigen Modelle auf dem Markt.

Neben der Verbesserung der Generierungsgeschwindigkeit und Bildqualität ist eine weitere bemerkenswerte Änderung von H3-Image diesmal die Fähigkeit des Modells, komplexe Anweisungen und visuelle Informationen zu verstehen. Das Modell unterstützt die Fusion von bis zu 16 Referenzbildern, kann komplexe Anweisungen und strukturierte Informationen verarbeiten und verfügt über eine führende Fähigkeit zur Einhaltung von Anweisungen unter quelloffenen Modellen.

Wie viele dieser Fähigkeiten können tatsächlich den Praxistest bestehen? Wir haben uns umgehend über MiniMax Conch und MiniMax Code bei H3-Image angemeldet und eine intensive praktische Prüfung in Bezug auf visuelle Darstellung, Verständnis komplexer Aufgaben und Fusion mehrerer Materialreferenzen durchgeführt.

01. Praktische Prüfung der visuellen Darstellung von H3-Image: von retro Comics bis zu realistischer Fotografie

Im visuellen Teil haben wir insgesamt fünf Gruppen von Tests entworfen, um jeweils die realistische Textur, Stilumwandlung, Nachbildung von Spielszenen, Textlayout von Postern und die Fähigkeit zur Fusion von 16 Referenzbildern zu prüfen.

H3-Image kann Bilder mit der Textur ultrarealistischer fotografischer Werke generieren. Wenn diese folgenden Bilder nicht im Voraus angegeben werden, glaube ich, dass die meisten Menschen sie als aufgenommene Werke der humanitären Dokumentarfotografie betrachten werden: Die Licht- und Schattentextur des Bildes ist real, die natürliche Textur und feine Mängel der menschlichen Haut bleiben erhalten, und das Umgebungslicht wirkt auch real auf die Personen und die umgebenden Objekte. Insgesamt gibt es keinen plastischen Eindruck, der durch übermäßiges Hautglätten, Schärfen und Überlagerung von Glanzlichtern entsteht, wie es bei gängigen KI-Bildern üblich ist.

Sehen wir uns nun dieses „Naturfotografie“-Werk an. Naturfotografie ist tatsächlich eine sehr herausfordernde Kategorie in der KI-Bildgenerierung. Unregelmäßigkeiten der Objektbewegung, die den physikalischen Gesetzen widersprechen, verzerrte Tierhaltungen und übermäßig geordnete Details der natürlichen Umgebung machen es leicht, Spuren der KI-Generierung aufzudecken.

Die von H3-Image generierten Bilder verarbeiten nicht jedes Element absichtlich sehr klar. Licht, Farbe und dynamische Details bilden gemeinsam die vollständige Bildatmosphäre und haben sogar einen gewissen Sinn für Geschichte. Besonders bemerkenswert ist, dass die Haltung der Möwen, die über die Wellen fliegen, die Schichten der Wellen und die gesamte Licht- und Schattenbeziehung relativ harmonisch sind, ohne offensichtliche strukturelle Störungen oder Spuren der KI-Rendering, und der Realitätsgrad ist voll ausgeschöpft.

Die Generierung von Gebäudebildern ist auch für KI schwierig: Sie erfordert, dass die Linien horizontal und vertikal ohne Abweichung verlaufen, die Reflexion der Glasfassade den physikalischen Gesetzen der Spiegelebenenabbildung entspricht, und verschiedene Materialien müssen die Textur und Reflexionseigenschaften zeigen, die der Realität entsprechen. H3-Image hat in allen diesen schwierigen Punkten ein erstklassiges Niveau erreicht. Besonders hervorzuheben ist, dass die Transmission der Deckenleuchten im Innenraum und die Reflexion im Außenraum im Bild koexistieren, ohne sich zu widersprechen, was das Verständnis des Modells für Licht und Schatten widerspiegelt.

In Sportszenen entsprechen die von H3-Image generierten „Sportler“ in Bezug auf den Körperschwerpunkt und die Kraftausübungshaltung der realen Sportmechanik: Die Arme sind natürlich ausgebreitet, um das Gleichgewicht zu halten, die Oberschenkel sind durch die Kraftausübung angespannt, der Torwart im gelben Trikot im Hintergrund springt seitwärts und streckt den Körper aus, und der Rasen des Spielfeldes spritzt auf. In Sportthemen, die die Realität von Physik und menschlichem Körper am meisten auf die Probe stellen, zeigen die Generierungsergebnisse von H3-Image immer noch das Niveau professioneller Fotografie.

Für die nächste Gruppe von Tests haben wir dasselbe Foto einer orangefarbenen Katze ausgewählt und H3-Image angewiesen, es in zwei verschiedene Kunststile umzuwandeln, darunter Filz-Stop-Motion-Animation und surrealistisches Ölgemälde, um die Fähigkeit des Modells zur Stilisierung zu prüfen.

Dieser Testgruppe wurden auch einige spezifische Produktionsanforderungen hinzugefügt. Zum Beispiel haben wir im Filzstil verlangt, dass das Modell die Textur von verflochtenen Fasern darstellen soll, anstatt einfach eine Unschicht hinzuzufügen. Man kann sehen, dass H3-Image alle Elemente im Bild stilisiert hat. Bei genauer Betrachtung der Details hat sogar die Blätter die Textur von verfilzten Fasern, und die Anforderungen der Prompt sind sehr genau wiedergegeben.

Der surrealistische Stil zeigt ebenfalls eine gute Leistung. Wir haben nur in der Prompt den Dalí-Stil erwähnt, und H3-Image fügte aktiv markante Elemente wie schmelzende Uhren hinzu. Im Bild bilden Innenraum und Wüste, Fensterbank und schwebende Treppe eine Kombination, die der realen Raumlogik widerspricht. Es behält nicht nur das Hauptobjekt der orangefarbenen Katze im Originalbild bei, sondern erzeugt auch eine surrealistische Atmosphäre durch Szenenreorganisation.

Heutzutage sind Spiele zu einem wichtigen Anwendungsbereich für Bildgenerierungsmodelle geworden, und wir haben auch mehrere praktische Tests in diesem Szenario durchgeführt. Sehen wir uns zuerst das folgende Bild eines Open-World-Spiels an, das von „The Legend of Zelda: Breath of the Wild“ inspiriert ist. Das Modell stellt den markanten niedrigpolygonen Kunststil des Originalwerks wieder her, das gesamte Licht, Schatten und Farben sind relativ harmonisch, und es zeigt einen visuellen Effekt, der einem echten Spielscreenshot nahe kommt.

Wenn man H3-Image bittet, Referenzdesigns für Spiel-UI zu generieren, kann es auch eine anständige Antwort liefern. Wir haben ein Fantasy-Rollenspiel als hypothetische Anforderung genommen und es angewiesen, eine vollständige HUD-Oberfläche zu generieren, die Lebensleiste, Fähigkeitenleiste, Inventarfelder, Minikarte und Aufgabenverfolgungsfeld enthält. Man kann sehen, dass die Position und das Layout der einzelnen Funktionsmodule der Interaktionslogik der gängigen Spiel-UI entsprechen, der Designstil ist einheitlich und kann als gültige Referenz für die nachfolgende Entwicklung verwendet werden.

Wir haben das Modell auch angewiesen, eine fantasy-dampfpunkte Waffe namens „Dampfkern-Armbrustkanone“ zu entwerfen. Das gesamte Bild ist in vier Bereiche unterteilt: Vorderansicht, Seitenansicht, Rückansicht und lokale Details. Die Leistung von H3-Image hat die Erwartungen übertroffen: Die Konturen der Waffe in den vier Ansichten stimmen im Wesentlichen überein, die Nieten und Zahnräder in den lokalen Detailbildern sind fein dargestellt, und als Referenzbild in der Phase des Konzeptdesigns ist dieser Grad der Fertigstellung bereits sehr hoch.

Textgenerierung ist seit jeher ein Bereich, in dem Bildmodelle leicht Probleme haben, insbesondere bei chinesischen Zeichen. Wenn die Anzahl der Zeichen groß ist, neigen Modelle dazu, Probleme wie verbundene Striche, falsche Zeichen und fehlende Zeichen zu erzeugen.

In diesem Szenario haben wir zuerst ein Poster mit relativ geringer Schwierigkeit ausprobiert und das Modell angewiesen, ein Poster mit dem Titel „Komm und trink Kaffee“ zu generieren. Schließlich wurden alle Zeichen korrekt generiert, und das Designprinzip „Weniger ist mehr“ in unserer Prompt wurde auch genau ausgeführt.

Anschließend haben wir die Schwierigkeit erhöht: Das Bild enthält einen