Die Effizienz kann um bis zu 20-fach gesteigert werden. Die Universität von Kalifornien hat OmniCast entwickelt, um das Problem der Fehlerakkumulation in autoregressiven Wettervorhersagemodellen zu lösen.

Ein Team der University of California, Los Angeles (UCLA) in Zusammenarbeit mit dem Argonne National Laboratory in den Vereinigten Staaten hat ein neues latentes Diffusionsmodell namens OmniCast vorgeschlagen, das für hochpräzise probabilistische Wettervorhersagen im subsektionalen bis saisonalen Maßstab eingesetzt werden kann.

Subsektionale bis saisonale (Subseasonal-to-seasonal, S2S) Wettervorhersagen liegen zwischen kurzfristigen Wettervorhersagen und langfristigen Klimaprognosen. Sie konzentrieren sich auf die Wetterentwicklung in den nächsten 2 bis 6 Wochen und füllen präzise die Lücke in der mittel- bis langfristigen Wetterprognose. Dies bietet eine entscheidende Grundlage für landwirtschaftliche Planungen, Katastrophenabwehr und andere Bereiche. Allerdings ist es bei S2S-Wettervorhersagen schwierig, sich auf die schnell abklingenden atmosphärischen Anfangsinformationen (Bedingungen für kurz- bis mittelfristige Vorhersagen) zu stützen, und es ist auch schwierig, die noch nicht vollständig sichtbaren langsam veränderlichen Randbedingungen (Bedingungen für Klimaprognosen) zu erfassen. Unter dem chaotischen atmosphärischen System und der komplexen Wechselwirkung zwischen Land, Ozean und Atmosphäre steigt die Schwierigkeit der Vorhersage deutlich.

In den letzten Jahren hat die technologische Iteration von traditionellen numerischen Wettervorhersagesystemen (Numerical Weather Prediction, NWP) zu tiefenlernenden Wettervorhersagemethoden zwar eine wichtige Rolle bei der Förderung der Entwicklung von S2S-Wettervorhersagen gespielt, aber es gibt dennoch viele Herausforderungen bei der praktischen Anwendung von S2S. Beispielsweise basieren traditionelle numerische Methoden hauptsächlich auf der Lösung komplexer physikalischer Gleichungen, was nicht nur sehr rechenintensiv ist, sondern auch viel Zeit in Anspruch nimmt. Obwohl datengesteuerte Methoden in der kurzfristigen Vorhersage "schnell, kurz und präzise" sind, berechnen sie die nächste Stufe auf der Grundlage des vorherigen Vorhersageergebnisses aufgrund des autoregressiven Designs. Bei der Anwendung in längeren S2S-Zyklen kann der Fehler wie ein Schneeball wachsen, und gleichzeitig werden die wichtigen langsam veränderlichen Randbedingungenignoriert.

Angesichts dieser Probleme hat das Team der UCLA in Zusammenarbeit mit dem Argonne National Laboratory ein neues latentes Diffusionsmodell namens OmniCast vorgeschlagen, das für hochpräzise probabilistische S2S-Wettervorhersagen eingesetzt werden kann. Das Modell kombiniert ein Variational Autoencoder (VAE) und ein Transformer-Modell und verwendet eine kombinierte Stichprobenziehung über Raum und Zeit. Es kann das Problem der Fehlerakkumulation bei autoregressiven Methoden erheblich verringern und gleichzeitig die Wetterdynamik außerhalb der Anfangsbedingungen lernen. Experimente haben gezeigt, dass das Modell in Bezug auf Genauigkeit, physikalische Konsistenz und probabilistische Indikatoren die besten Ergebnisse aller derzeitigen Methoden erzielt.

Die zugehörige Studie mit dem Titel "OmniCast: A Masked Latent Diffusion Model for Weather Forecasting Across Time Scales" wurde für die Spitzenkonferenz in der Künstlichen Intelligenz, die NeurIPS 2025, ausgewählt.

Highlights der Studie:

* Indem OmniCast die Zeit- und Raumdimensionen gleichzeitig berücksichtigt, um zukünftiges Wetter zu generieren, löst es das Problem der zunehmenden Fehlerakkumulation bei bisherigen autoregressiv entworfenen Modellen.

* OmniCast kann sowohl die atmosphärischen Anfangsinformationen, die für kurzfristige Wettervorhersagen erforderlich sind, als auch die langsam veränderlichen Randbedingungen, die für Klimaprognosen benötigt werden, berücksichtigen.

* OmniCast ist in Bezug auf Genauigkeit, physikalische Konsistenz und probabilistische Vorhersagen besser als die bestehenden Methoden und bis zu 10 - 20 Mal schneller als die derzeitigen gängigen Methoden.

Link zur Studie: https://go.hyper.ai/YANIu

Datenbank: Basierend auf dem weit verbreiteten ERA5-Grunddatensatz, angepasst an verschiedene Vorhersagetasks

Um sicherzustellen, dass OmniCast bei der Training und Evaluierung angemessen unterstützt wird, wurde der derzeit in der Meteorologie weit verbreitete hochaufgelöste Reanalyse-Datensatz ERA5 als Grundlage verwendet. Die Daten wurden für die beiden verschiedenen Vorhersagetasks, mittelfristige Wettervorhersage (Medium-range Weather Forecasting) und S2S-Wettervorhersage, vorverarbeitet, um als Benchmark-Sets für die jeweiligen Anforderungen zu dienen.

Genauer gesagt, wurden zunächst 69 meteorologische Variablen aus dem ERA5-Reanalyse-Datensatz extrahiert, die zwei Hauptkategorien von Kernindikatoren umfassen:

Bodenvariablen (4 Kategorien): 2-Meter-Temperatur (T2m), 10-Meter-U-Windgeschwindigkeitskomponente (U 10), 10-Meter-V-Windgeschwindigkeitskomponente (V10) und mittlerer Luftdruck auf Meereshöhe (MSLP);

Atmosphärische Variablen (5 Kategorien): Geopotentialhöhe (Z), Temperatur (T), U-Windgeschwindigkeitskomponente, V-Windgeschwindigkeitskomponente und spezifische Feuchte (Q). Die atmosphärischen Variablen umfassen 13 Druckschichten (Einheit: hPa), nämlich 50, 100, 150, 200, 250, 300, 400, 500, 600, 700, 850, 925, 1000.

Anschließend wurden für die verschiedenen Vorhersagetasks Trainings-, Validierungs- und Testsets anhand des Zeitraums aufgeteilt:

Mittelfristige Wettervorhersagetask: Es wurde WeatherBench2 (WB2) als Benchmark-Set verwendet, dessen Trainingsset den Zeitraum von 1979 bis 2018, das Validierungsset den Zeitraum von 2019 und das Testset den Zeitraum von 2020 abdeckt. Die Anfangsbedingungen basieren auf den Daten von 00:00 UTC und 12:00 UTC. Die Auflösung beträgt 0,25° (721 x 1440 Gitter).

S2S-Wettervorhersagetask: Es wurde ChaosBench als Benchmark-Set verwendet, dessen Trainingsset den Zeitraum von 1979 bis 2020, das Validierungsset den Zeitraum von 2021 und das Testset den Zeitraum von 2022 abdeckt. Die Anfangsbedingungen basieren auf den Daten von 00:00 UTC. Die Auflösung beträgt 1,40625° (128 x 256 Gitter).

OmniCast-Modell: Zwei-Phasen-Design, um ein neues Paradigma für S2S-Wettervorhersagen zu schaffen

Die Kernfähigkeit von OmniCast besteht darin, das Problem der Fehlerakkumulation bei traditionellen autoregressiven Modellen insgesamt zu vermeiden und somit die Fähigkeit zu schaffen, sowohl die Anforderungen an kurzfristige Wettervorhersagen als auch an langfristige Klimaprognosen zu berücksichtigen. Dies bietet ein nutzbares und zuverlässiges Instrument für die praktische Anwendung von S2S-Wettervorhersagen. Das SeasonCast-Modell basiert auf einem "Zwei-Phasen"-Design, bei dem zunächst eine Datenreduktion durch ein VAE und dann eine zeitliche Generierung durch einen Transformer mit Diffusionskopf erfolgen.

Das Kernmodul der ersten Phase ist ein VAE mit UNet-Architektur, dessen Hauptaufgabe es ist, "Daten zu reduzieren" und "Daten zu rekonstruieren". Es komprimiert die hochdimensionalen ursprünglichen Wetterdaten zu niedrigdimensionalen, kontinuierlichen latent tokens (latente Merkmalsvektoren), um das Problem der Rechenleistung zu verringern, das durch die großen Variablen und die hohe räumliche Auflösung verursacht wird. Die Anzahl der Eingangs- und Ausgangskanäle des VAE beträgt jeweils 69, was den 69 meteorologischen Variablen entspricht. Beispielsweise kann der VAE-Encoder in der S2S-Wettervorhersagetask die ursprünglichen Wetterdaten der Größe 69 x 128 x 256 auf eine latente Abbildung der Größe 1024 x 8 x 16 komprimieren, was einer räumlichen Dimensionsreduktion von 16 entspricht. Beim Generieren wird das VAE die von dem Transformer ausgegebenen latent tokens wieder in die ursprüngliche Dimension der Wetterdaten (z. B. Temperatur, Luftdruck) zurücktransformieren.

Es ist erwähnenswert, dass in der Studie ein kontinuierliches VAE anstelle eines diskreten VAEs verwendet wurde, da ein diskretes VAE aufgrund der vielen meteorologischen Variablen zu einem zu hohen Kompressionsverhältnis und einem erheblichen Informationsverlust führen würde, was die Leistung der Generierungsmodellierung in der zweiten Phase beeinträchtigen würde. Das kontinuierliche VAE hat ein Kompressionsverhältnis von nur 100 Mal und kann somit für einen Wetterzustand, der möglicherweise Hunderte von physikalischen Variablen enthält, mehr meteorologische Schlüsselinformationen behalten.

Das Kernmodul der zweiten Phase ist ein maskierter generativer Transformer (siehe Abbildung unten), der die Encoder-Decoder-Architektur eines Masked Autoencoder (MAE) verwendet. Er ist der Schlüssel für die "fehlerfreie Akkumulationsgenerierung" und modelliert direkt die zukünftigen vollständigen Sequenzen von latent tokens durch maskiertes Training und Diffusionsvorhersage. In Bezug auf die Struktur wurde eine bidirektionale Encoder-Decoder-Architektur verwendet, die es ermöglicht, sowohl die Anfangsbedingungen als auch die bereits generierten sichtbaren tokens zur Vorhersage des maskierten Teils zu nutzen. Die Transformer-Architektur besteht aus 16 Netzwerkebenen, wobei jede Ebene 16 Attention Heads hat. Die Dimension der versteckten Schicht beträgt 1024, und die Dropout-Rate beträgt 0,1.

Schematische Darstellung der Arbeitsweise des Transformer-Hauptnetzes

Da die latent tokens kontinuierliche Vektoren sind, kann ein traditioneller Klassifikationskopf ihre Verteilung nicht modellieren. Daher wird nach der Ausgabe des Transformers ein Diffusionsmodellkopf (implementiert als kleiner MLP) angeschlossen, um die Verteilung der maskierten latent tokens vorherzusagen (siehe Abbildung unten).

Das Entrausungsnetzwerk eθ prognostiziert das Rauschen ϵ basierend auf zi und xsi.

Um die Genauigkeit der kurzfristigen Vorhersage zu verbessern, wurde auch ein Hilfs-Mittlerer-Quadrat-Fehler-Verlust (Auxiliary Mean-squared error loss) eingeführt. Genauer gesagt, bei der kurzfristigen Wettervorhersage nimmt die Bedeutung der deterministischen Vorhersage nach 10 Tagen aufgrund der zunehmenden Chaotik des Wettersystems ab. Durch die Hinzufügung eines zusätzlichen deterministischen MLP-Kopfs kann der MSE-Verlust für die ersten 10 Frames der latent tokens berechnet werden. Darüber hinaus kann durch die Verwendung einer exponentiell abnehmenden Gewichtsstrategie die Wichtigkeit einer genauen Vorhersage in den frühen Frames hervorgehoben werden.

Ergebnispräsentation: Vergleich mit zwei Methodentypen, Effizienz bis zu 10 - 20 Mal höher als bei Benchmark-Modellen

Um die Effektivität und Fortgeschrittenheit von OmniCast zu überprüfen, wurde es von den Forschern mit zwei gängigen Methodentypen verglichen, einem Typ sind die fortschrittlichsten tiefenlernenden Methoden, und der andere Typ sind die numerischen Methoden auf der Grundlage traditioneller physikalischer Modelle. Wie bereits erwähnt, umfasste die experimentelle Validierung die beiden Tasks der mittelfristigen Wettervorhersage und der S2S-Wettervorhersage, und die Analyseindikatoren umfassten Genauigkeit, physikalische Konsistenz und Probabilität.

Zunächst bei der S2S-Wettervorhersagetask verglichen die Forscher OmniCast mit zwei tiefenlernenden Methoden, PanguWeather (PW) und GraphCast (GC), sowie vier nationalen und regionalen numerischen Modellsystemen, UKMO-ENS (Großbritannien), NCEP-ENS (USA), CMA-ENS (China) und ECMWF-ENS (Europa).

In Bezug auf die Genauigkeitsindikatoren (Root Mean Square Error (RMSE), absoluter Bias (ABS BIAS) und Multiskalen-Strukturähnlichkeit (SSIM)) war die Leistung von OmniCast in der kurzfristigen Vorhersage in Bezug auf RMSE und SSIM wie erwartet etwas schlechter als die der anderen Benchmark-Modelle. Dies ist natürlich auf das Trainingsziel von OmniCast zurückzuführen. Mit zunehmender Vorhersagezeit verbessert sich die relative Leistung von OmniCast jedoch schrittweise, und nach 10 Tagen kann es eine optimale Leistung erreichen, die der von ECMWF-ENS entspricht. Siehe Abbildung unten:

Vorhersagegenauigkeit verschiedener Methoden für drei Schlüsselvariablen im Zeitraum von 1 bis 44 Tagen: Durchgezogene Linien repräsentieren tiefenlernende Methoden, gestrichelte Linien repräsentieren numerische Methoden.

Es ist erwähnenswert, dass OmniCast den geringsten Bias aller Benchmark-Modelle hat und die Vorhersagen für die drei Zielvariablen nahezu Null-Bias aufweisen.

In Bezug auf die physikalische Konsistenz ist die physikalische Konsistenz von OmniCast deutlich besser als die der anderen tiefenlernenden Methoden und in den meisten Fällen besser als die aller Benchmark-Modelle. Dieses Ergebnis zeigt, dass OmniCast die Signale in verschiedenen Frequenzbereichen effektiv behalten kann, um die physikalische Plausibilität der Vorhersage zu gewährleisten. Siehe Abbildung unten: