Künstliche Intelligenz hat 118 neue extrasolare Planeten entdeckt. Das Team der Universität Warwick hat RAVEN vorgeschlagen, um eine planetare Szenerie mit jeder Art von Falsch-Positiv-Szenerie einzeln zu vergleichen.

Ein Forschungs-Team der Universität Warwick hat einen brandneuen Screening- und Validierungs-Prozess namens RAVEN für TESS-Kandidaten entwickelt. Dieser Prozess führt synthetische Trainingsdaten ein und verlässt sich nicht länger nur auf die von der Mission selbst generierten Threshold Crossing Event (TCE)-Daten. Diese Verbesserung erweitert und stärkt erheblich den Parameterraum von Planeten- und Falsch-Positiv-Szenarien, den das maschinelle Lernmodell abdeckt. In einem unabhängigen externen Testdatensatz, der 1.361 vorklassifizierte TESS-Kandidaten enthält, hat der Prozess eine Gesamtgenauigkeit von 91 % erreicht, was seine Effektivität bei der automatischen Einordnung von TESS-Kandidaten zeigt.

Mit der fortschreitenden astronomischen Forschung hat die Entdeckung von Exoplaneten eine Phase des raschen Wachstums erreicht. Insbesondere die von der Transiting Exoplanet Survey Satellite (TESS)-Mission der NASA bereitgestellten Lichtkurvendaten ermöglichen es Wissenschaftlern, täglich eine große Anzahl von Transitsignal-Kandidaten zu erhalten.

Allerdings ist die Bestätigung oder Ablehnung der Planeten-Eigenschaft von Kandidaten ein langwieriger und herausfordernder Prozess. Bisher sind in der Exoplaneten-Archivdatei insgesamt 7.658 TESS-Zielobjekte (TOI) aufgeführt, von denen 5.152 noch als Kandidaten markiert sind. Nur 666 wurden als echte Exoplaneten bestätigt, und weitere 558 Planeten wurden von TESS entdeckt, die jedoch bereits zuvor bestätigt wurden. Gleichzeitig wurden 1.185 TESS-Kandidaten als „Falsch-Positiv (FP)“ identifiziert, und weitere 97 wurden als „Fehlalarm (FA)“ klassifiziert – diese hohe Anzahl unterstreicht die Schwierigkeiten bei der Bestätigung von Exoplaneten-Kandidaten.

Über die Kandidaten-Screening hinaus gibt es die sogenannten „Validierungspipelines“, deren Ziel es ist, Kandidaten als echte Planeten durch statistische Methoden zu bestätigen. Die traditionellen Validierungsmethoden verlassen sich hauptsächlich auf manuelle Analysen und nachfolgende Beobachtungen, einschließlich Radialgeschwindigkeitsmessungen (RV) und Nachverfolgung mit Bodenteleskopen. Diese Methoden sind zwar zuverlässig, aber zeitaufwendig und kostspielig.

Angesichts dieser Herausforderungen hat das Forschungs-Team der Universität Warwick auf der Grundlage des von David J. Armstrong et al. vorgeschlagenen Kepler-Prozesses einen neuen Screening- und Validierungs-Prozess für TESS-Kandidaten entwickelt, den RAVEN (RAnking and Validation of ExoplaNets). Die entscheidende Veränderung des neuen Prozesses besteht darin, dass synthetische Trainingsdaten eingeführt werden und nicht länger nur auf die von der Mission selbst generierten TCE-Daten zurückgegriffen wird. Diese Verbesserung erweitert und stärkt erheblich den Parameterraum von Planeten- und Falsch-Positiv-Szenarien, den das maschinelle Lernmodell abdeckt.

Die Ergebnisse zeigen, dass der Prozess in allen Falsch-Positiv-Szenarien eine AUC-Bewertung von über 97 % erreicht, wobei in allen Szenarien außer einem sogar über 99 % erreicht werden. In einem unabhängigen externen Testdatensatz, der 1.361 vorklassifizierte TESS-Kandidaten enthält, hat der Prozess eine Gesamtgenauigkeit von 91 % erreicht, was seine Effektivität bei der automatischen Einordnung von TESS-Kandidaten zeigt.

Die Forscher haben mit diesem Prozess auch 118 neue Exoplaneten bestätigt und gleichzeitig über 2.000 hochwertige Planeten-Kandidaten identifiziert, von denen fast 1.000 zuvor nie entdeckt wurden.

Die zugehörigen Forschungsresultate wurden unter dem Titel „RAVEN: RAnking and Validation of ExoplaNets“ als Preprint auf arXiv veröffentlicht.

Highlights der Studie:

* Mit Hilfe von synthetischen Datensätzen ermöglicht RAVEN einen Vergleich zwischen Planeten-Szenarien und jedem einzelnen Falsch-Positiv-Szenario. Diese Fähigkeit war bisher normalerweise nur in Validierungsrahmen vorhanden, die auf Modell-Anpassungen basieren.

* Der neue Prozess führt synthetische Trainingsdaten ein und verlässt sich nicht länger nur auf die von der Mission selbst generierten TCE-Daten.

* Der neue Prozess behält eine hohe Effizienz bei: Die Verarbeitung eines typischen Kandidaten dauert nur etwa eine Minute, und er ist dank der Unterstützung von Multi-Prozesses gut skalierbar.

Link zur Studie: https://arxiv.org/abs/2509.17645

Datensatz: Der vollständige Aufbauweg von den Eingangsdaten bis zu den Trainingsbeispielen

Eingangsdaten: Die Fusion von mehrfachen Informationsquellen mit dem Schwerpunkt auf Lichtkurven

Der RAVEN-Prozess verwendet derzeit Lichtkurven, die aus den TESS Full Frame Images (FFI) generiert wurden, welche von der TESS Science Processing Operations Center veröffentlicht wurden. Diese Lichtkurven werden durch Aperturphotometrie aus den FFI-Daten der einzelnen Beobachtungssektoren extrahiert. Dabei beträgt die Abtastrate in den Sektoren 1–27 30 Minuten, in den Sektoren 28–55 10 Minuten. Die FFI, die im Rahmen der zweiten Erweiterungsmission von TESS (ab Sektor 56) veröffentlicht wurden, haben eine Abtastrate von 200 Sekunden. Die in dieser Studie verwendeten Lichtkurven enden bei Sektor 55.

Trainingsdaten: Die systematische Modellierung von Planeten und Falsch-Positiven

Der RAVEN-Prozess führt synthetische Lichtkurvendaten ein, um das maschinelle Lernmodell zu trainieren, anstatt sich auf die bereits vorhandenen und klassifizierten Kandidaten-Lichtkurvendaten der Mission zu verlassen.

Die anfängliche Menge an synthetischen Ereignissen wird unter Verwendung simulierter Transit- oder Eklips-Phänomene erstellt und in die SPOC-Lichtkurven eingebracht. Die simulierten Ereignisse werden mit einer modifizierten Version der PASTIS-Software der Forscher generiert und umfassen zunächst Szenarien wie Transit-Planeten (Planet), Eklips-Binärsterne (EB), hierarchische Eklips-Binärsterne (HEB), hierarchische Transit-Planeten (HTP), Hintergrund-Eklips-Binärsterne (BEB) und Hintergrund-Transit-Planeten (BTP). Um sicherzustellen, dass die synthetischen Daten so nah wie möglich an der tatsächlichen Beobachtungsgruppe von TESS liegen, wird der Hauptstern in jedem Szenario zufällig aus einer gut charakterisierten Stichprobe des TESS Input Catalog (TIC) ausgewählt. Schließlich enthält die Zielstichprobe 1.200.520 SPOC FFI-Sterne.

Auf dieser Grundlage ist der Aufbau der Falsch-Positiv-Daten komplexer und entscheidender – für die nahe gelegenen Falsch-Positiven (Nearby False Positives, NFPs) berücksichtigen die Forscher die folgenden NFP-Szenarien: Nahe gelegene Transit-Planeten (NTP): Ein Planet transitiert über einen verdünnten Wirt; Nahe gelegene Eklips-Binärsterne (NEB): Eine nahe gelegene verdünnte Quelle ist ein Eklips-Binärstern; Nahe gelegene hierarchische Eklips-Binärsterne (NHEB): Eine nahe gelegene verdünnte Quelle ist ein hierarchischer Eklips-Binärstern.

Testdaten: Die reale Anwendungsumgebung mit TOI als Kern

Die Leistung des Prozesses wurde schließlich an einer Gruppe von bereits vorklassifizierten TOI (d.h. TESS-Zielobjekten) getestet. Die Liste der verwendeten TOI und die Klassifizierungsinformationen stammen aus dem NASA Exoplanet Archive und datieren vom 3. Februar 2025. Zu diesem Zeitpunkt gab es 2.134 vorklassifizierte TOI, von denen 548 als bekannte Planeten (Known Planets, KP), 485 als von TESS bestätigte Planeten (Confirmed Planets, CP), 1.113 als FP und 96 als FA klassifiziert wurden. Allerdings hatten nur 1.918 TOI eine zugehörige veröffentlichte SPOC FFI-Lichtkurve. Schließlich betrug die Anzahl der zu verarbeitenden TOI nach der Anwendung von Tiefen- und Periodenbeschränkungen auf die verbleibenden Stichproben 1.589.

Alle TOI wurden durch alle Verarbeitungsschritte der Pipeline geführt, mit Ausnahme eines FP-TOI, dessen Zielstern im TIC als „DUPLICATE“ markiert war. In den Endresultaten wurden 68 TOI ausgeschlossen, da der Sternradius des Zielsterns im TIC fehlte; weitere 87 wurden ausgeschlossen, weil die TESS-Magnitude über 13,5 lag, und 22 wurden ausgeschlossen, weil die Gaia-Magnitude über 14 lag.

Die Trainingsmenge der Studie enthält keine Ereignisse, deren Zielstern eine Magnitude von mehr als 13,5 Tmag oder 14 Gmag hat. Darüber hinaus wurden 28 TOI ausgeschlossen, weil der während der Merkmalsgenerierung berechnete MES kleiner als 0,8 war, und 2 TOI wurden verworfen, weil die Merkmalsgenerierung fehlgeschlagen war. Schließlich wurden 21 TOI ausgeschlossen, weil aufgrund von Problemen mit den Zentroidendaten keine Positionswahrscheinlichkeit generiert werden konnte und daher keine Posteriorwahrscheinlichkeit bereitgestellt werden konnte, und diese wurden von der weiteren Analyse ausgeschlossen.

Somit betrug die Anzahl der endgültigen vorklassifizierten TOI in diesem Test 1.361, darunter 705 bekannte oder bestätigte Planeten, 630 FP und 26 FA.

Die Kombination von zwei maschinellen Lernmodellen – GBDT + GP

Der RAVEN-Prozess basiert auf dem statistischen Validierungsrahmen, den David J. Armstrong et al. 2021 für die Kepler-Missionskandidaten vorgeschlagen haben (im Folgenden als A21 bezeichnet). Dieser Rahmen wurde auf die Daten des Transiting Exoplanet Survey Satelliten angepasst und gleichzeitig erweitert und verbessert. Die Implementierung und Ausführung des gesamten Prozesses ist relativ komplex und umfasst mehrere Schritte. Ein vereinfachter Ablauf ist in der folgenden Abbildung dargestellt:

Ablaufdiagramm

Maschinelles Lern-Training

Der Kern von RAVEN ist die Kombination von zwei maschinellen Lernmodellen: Gradient Boosted Decision Tree (GBDT) und Gaussian Process (GP). Der Prozess generiert für jeden Planeten-Kandidaten die Posteriorwahrscheinlichkeiten von 8 Falsch-Positiv-Szenarien und erhält durch die Minimierung die RAVEN-Wahrscheinlichkeit, d.h. das geringste Vertrauen in die Echtheit des Kandidaten.

① Gradient Boosted Decision Tree (GBDT)

Entscheidungsbäume sind eine einfache, aber leistungsstarke Art von maschinellen Lernmodellen. Ein erheblicher Vorteil ist ihre starke Interpretierbarkeit. Allerdings weisen einzelne Entscheidungsbäume Einschränkungen in Bezug auf die Robustheit auf, und wenn der Baum zu tief wird, neigen sie zur Überanpassung. Um diese Probleme zu lösen, wird normalerweise eine Ensemble-Methode verwendet, die aus mehreren „schwachen“ Bäumen besteht. Gradient Boosted Decision Tree (GBDT) ist genau eine solche Ensemble-Methode, die durch die sequentielle Erstellung mehrerer Entscheidungsbäume ein stärkeres Endmodell bildet.

Das Kernmerkmal von GBDT besteht darin, dass jeder neu generierte Baum nicht direkt auf der Grundlage der ursprünglichen Labels trainiert wird, sondern auf den Residualfehlern, die von der Vorhersage des vorherigen Modells erzeugt wurden. Mit anderen Worten, das Ziel jedes neuen Modells ist es, die Verlustfunktion des gesamten Modells zu minimieren. Dieser Prozess ähnelt im Wesentlichen dem Gradientenabstieg. Bei der Ensemble-Erstellung werden die Ausgaben der einzelnen Teilmodelle nach der Lernrate skaliert und dann addiert, um die endgültige Vorhersage zu erhalten.

Der Modellverlust wird durch eine vordefinierte Verlustfunktion berechnet, und die Residuen werden durch den Gradienten dieser Verlustfunktion bestimmt. In diesem Forschungs-Prozess wird die XGBoost-Implementierung von Chen und Guestrin für den GBDT-Klassifikator verwendet.

② Gaussian Process-Klassifikator

Der Gaussian Process (GP) ist ein stochastischer Prozess, der die Gaußsche Wahrscheinlichkeitsverteilung von der „Verteilung von Zufallsvariablen“ auf die „Verteilung von Funktionen“ erweitert. Bei der GP-Klassifikation ist das Ziel, diskrete Klassenlabels oder Klassenwahrscheinlichkeiten zwischen 0 und 1 auszugeben. Dazu muss eine Antwortfunktion auf die Ausgabe des GP angewendet werden, um das Ergebnis auf den Bereich zwischen 0 und 1 abzubilden. Anschließend wird es mit einer Wahrscheinlichkeits-Likelihood-Funktion (z.B. Bernoulli-Likelihood) kombiniert.

In dieser Studie wird die von James Hensman et al. vorgeschlagene Variationsnäherungsmethode verwendet. Diese Methode basiert auf einer Gruppe von „Induktionspunkten“, d.h. einer repräsentativen Teilmenge der Daten, um die Rechenkomplexität zu verringern und die Skalierbarkeit des Modells zu verbessern.

Training und Kalibrierung

Um die beiden Klassifikatoren zu trainieren und zu optimieren, wird eine iterative Methode verwendet. Der synthetische Trainingsdatensatz wird unter verschiedenen Hyperparameter-Kombinationen trainiert, und die Leistung wird auf dem Validierungsdatensatz bewertet, um die optimalen Parameter auszuwählen. Die Parameteroptimierung konzentriert sich hauptsächlich auf drei Schlüssel-FP-Szenarien: EB, NEB und NSFP, da es sich um die häufigsten Falsch-Positiv-Ereignisse handelt. Gleichzeitig wird versucht, die Parameter zwischen den Szenarien so einheitlich wie möglich zu halten, um eine Überoptimierung für ein einzelnes Szenario und die daraus resultierende Überanpassung zu vermeiden.

Bei allen Modellen ist der „Early Stopping“-Mechanismus aktiviert: Wenn die Verlustfunktion auf dem Validierungsdatensatz in 20 aufeinanderfolgenden Iterationen um mindestens 0,0001 nicht sinkt, wird das Training beendet, und es wird zum Zustand des Modells zurückgekehrt, als die Verlustfunktion das letzte Mal verbessert wurde.

Statistische Validierung

Der letzte Bestandteil des Prozesses besteht darin, die Wahrscheinlichkeit jeder Planeten-FP-Klassifikation, die durch maschinelles Lernen gewonnen wurde, mit der entsprechenden szenariospezifischen A-priori-Wahrscheinlichkeit zu kombinieren, um die Posteriorwahrscheinlichkeit der Planeten-Hypothese abzuleiten – diese Posteriorwahrscheinlichkeit gibt nur die Wahrscheinlichkeit an, dass der Kandidat ein Planet oder ein bestimmtes FP-Szenario ist. Daher erfordert die statistische Validierungsmethode