Wie man gute Forschung betreibt

Das Übersetzungsteam von 36Kr, das sich auf Technologie, Wirtschaft, Berufsleben und Alltag konzentriert und vor allem neue Technologien, Ideen und Trends aus dem Ausland vorstellt.

Anmerkung des Herausgebers: Echte wissenschaftliche Forschung bedeutet nie, auf luxuriösen Arbeitsplätzen auf Inspiration zu warten – sie ist ein effizienter Iterationsprozess, der sich um Informationsquellen, technische Werkzeugketten und Widerstandsfähigkeit dreht. Der folgende Text wurde übersetzt.

Eigentlich hat niemand dir jemals wirklich beigebracht, wie man wissenschaftliche Forschung betreibt. Du bekommst nur einen Arbeitsplatz, ein von anderen ausgewähltes Thema und eine vage Anweisung, innovative Ergebnisse zu erzielen. Deshalb müssen die meisten Menschen diese Arbeit anhand flüchtiger Eindrücke nachvollziehen – wie Veröffentlichungen, Twitter-Feeds und verschiedene Präsentationen. Am Ende lernen sie nur, „wie man wie ein Forscher aussieht“, anstatt „wie man ein echter Forscher wird“. Tatsächlich besteht echte Forschungskompetenz aus einer Reihe kleiner Fähigkeiten, und fast jede davon kann durch gezieltes Üben erlernt werden.

Finde selbst deine Forschungsthemen

Richard Hamming hatte während seiner Zeit bei Bell Labs eine Gewohnheit, die ihn zu einer unwillkommenen Person am Mittagstisch machte: Er fragte jeden, der neben ihm saß, was die wichtigsten Probleme in ihrem Fachgebiet seien – und dann fragte er weiter: „Warum forschst du also nicht an diesen Problemen?“ Daraufhin wechselten die Leute einfach den Tisch. Diese Frage war unangenehm, weil die meisten von uns keine vernünftige Antwort darauf haben. Wir wählen unsere Themen nicht selbst aus, sondern übernehmen sie passiv – entweder von unserem Betreuer, aus der Forschung eines großen Labors im letzten Quartal oder aus einer Veröffentlichung, die diese Woche alle auf Twitter teilen und kommentieren.

Das Problem bei passiv übernommenen Themen ist, dass du nur die Schlussfolgerungen erinnerst, aber die zugrunde liegenden Denkprozesse nicht verstehst. Du weißt nur, dass ein bekanntes Labor an einem bestimmten Thema arbeitet – aber nicht, warum sie das tun, was sie erwarten zu finden oder welche Umstände sie dazu bringen würden, das Thema aufzugeben. Wenn sie dann ihre Richtung ändern, merkst du das vielleicht erst ein Jahr später. Außerdem konkurrierst du bei einem bereits beliebten Thema mit Tausenden von Menschen, die früher angefangen haben und über mehr Rechenleistung verfügen als du.

John Schulman unterteilt in seinem „Leitfaden für Forschung im Bereich maschinelles Lernen“ die Arbeit in zwei Modi: Im ersten liest du Literatur und suchst nach Bereichen, die verbessert werden können. Im zweiten wählst du ein Ergebnis aus, von dem du zutiefst wünschst, dass es existiert – und leitest dann rückwärts ab, welche Experimente dafür nötig sind. Er bevorzugt den zweiten Modus, weil er echte Originalität schaffen kann. Ein Ziel, das dir wirklich wichtig ist, führt dich in unerforschte Gebiete, die keine Übersichtsarbeit je betreten hat.

Gleichzeitig wird „akademischer Geschmack“ oft als eine Art angeborenes Talent dargestellt – aber er ist eher wie ein Muskel. Vor jedem Experiment prognostiziere zuerst sein Ergebnis. Decke den Ergebnisteil einer Veröffentlichung zu und versuche, die Daten nur anhand der beschriebenen Methoden zu erraten. Notiere dir, welche der in diesem Monat veröffentlichten Arbeiten auch in zwei Jahren noch relevant sein werden – und überprüfe später, wie oft du richtig lagst. Prognose und Korrektur, hunderte Male wiederholt: So werden alle guten Modelle trainiert – auch das in deinem Kopf.

Verbessere deine Informationsquellen

Geteilte Leselisten führen nur zu gleichförmigen Ideen. Wenn deine Informationsquellen nur aus den beliebten Seiten von arXiv und den Inhalten bestehen, die in Chatgruppen gefiltert wurden, wirst du unweigerlich zur gleichen Schlussfolgerung kommen wie alle anderen – und das bedeutet, dass diese Schlussfolgerungen fast wertlos sind.

Der Wert klassischer alter Arbeiten wird stark unterschätzt. Dieses Fachgebiet wiederholt seine eigene Vergangenheit mit Verzögerung: Mixture-of-Experts-Modelle gehen bis 1991 zurück, LSTM entstand 1997 und das Backpropagation-Verfahren wurde 1986 zum Mainstream. Rich Sutton schrieb 2019 mit nur etwa tausend Wörtern „Das bittere Lektion“ – und seine Prognose für die Entwicklung des Fachgebiets war genauer als die von Übersichtsarbeiten mit zehnfachem Umfang. Claude Shannon hielt 1952 einen Vortrag über kreatives Denken: Seine Herangehensweise bestand darin, ein Problem so weit zu vereinfachen, dass es fast trivial wurde – und nachdem diese vereinfachte Version gelöst war, fügte er die Schwierigkeiten Schritt für Schritt wieder hinzu. Allein diese Technik hilft dir, mehr Barrieren zu durchbrechen als alle modernen Tipps für hohe Produktivität.

Die Breite des Wissens ist genauso wichtig wie seine Tiefe. Die Forschung zur Interpretierbarkeit greift offen auf Erkenntnisse aus der Neurowissenschaft zurück. Die Gestaltung von Bewertungsverfahren ist im Grunde Mechanismus-Design im Laborkittel. Wenn du genau verstehst, wie GPUs tatsächlich auf den Speicher zugreifen, kannst du schon vor den Benchmark-Ergebnissen wissen, welche Architekturveröffentlichungen zum Scheitern verurteilt sind. Und im Bereich des maschinellen Lernens ist fundierte Statistik vielleicht die seltenste Fähigkeit – denn viele veröffentlichte sogenannte „strenge Ergebnisse“ sind nichts weiter als intuitive Annahmen mit Fehlerbalken.

Noch ein Tipp: Lese die Veröffentlichungen selbst, anstatt nur ihre Zusammenfassungen in Twitter-Feeds zu sehen. Im Anhang verbergen sich die unausgesprochenen Geheimnisse (oder entscheidenden Mängel), und der Abschnitt „Einschränkungen“ ist oft der ehrlichste Teil der gesamten Arbeit.

Dokumentiere alles

Paul Graham hat darauf hingewiesen: Eine Idee fühlt sich oft bereits voll ausgereift an, bevor du sie zu Papier bringst. Aber das geschriebene Wort deckt die Lücken auf, die du in deinem Kopf unbemerkt versteckt hast: Annahmen, die du nie getestet hast, Denkschritte, die eigentlich nicht haltbar sind, und zwei Aussagen, die sich heimlich widersprechen.

Das Feynman-Prinzip lautet: Die erste Person, die du nicht täuschen solltest, bist du selbst – denn du bist das leichteste Ziel für deine eigenen Täuschungen. Schreiben ist die billigste Verteidigung, die die Menschheit je erfunden hat. Darwin ging noch weiter und machte dieses Prinzip zu einem festen Prozess: Jede Tatsache, die seiner Theorie widersprach, notierte er sofort – denn er merkte, dass sein Gehirn ungünstige Beweise viel schneller löschte als günstige zu behalten. Das Gleiche gilt für fehlgeschlagene Experimentläufe in deiner Erinnerung. Führe ein Protokoll: Notiere Annahmen, Einstellungen, Erwartungen, Ergebnisse und aktualisierte Gedanken. Wenn du die Aufzeichnungen des letzten Monats noch einmal liest, bekommst du eine peinlich genaue Klarheit, die kein Peer-Reviewer je erreichen kann.

Dann veröffentliche einen Teil dieser Aufzeichnungen. Chris Olah und Shanahan Carter weisen in ihrem Artikel über „Forschungs-Schulden“ darauf hin, dass viele Fachgebiete stagnieren, weil sie nicht zu viele Ideen verarbeiten können – und klare Erklärungen sind echte Beiträge, keine bloße Dienstleistung. Viele Menschen, die heute im Bereich der Interpretierbarkeit forschen, haben ihre Richtung durch verständliche Blogbeiträge gefunden, nicht durch Konferenzveröffentlichungen. Eine Sammlung öffentlicher Texte ist auch dein stärkstes Zeugnis: Sie lässt sich nicht fälschen und zeigt deinen Denkprozess authentisch.

Enge Iterationszyklen aufrechterhalten

Alec Radfords Erfolgsgeschichten drehen sich selten um einzelne geniale Einfälle – sie handeln von Quantität. Er führt mehr Experimente pro Tag durch, verwirft mehr falsche Ideen pro Woche und aktualisiert sein Modell der Realität schneller als alle anderen. Das ist die eigentliche Regel: Die Geschwindigkeit der Forschung hängt weitgehend davon ab, wie schnell du merkst, dass du einen Fehler gemacht hast.

Deshalb ist der Aufbau deiner Werkzeugkette eine der wichtigsten Forschungsaufgaben. Ein Experimentlauf sollte mit nur einem einzigen Befehl starten. Ein Diagramm erstellen sollte mit einem weiteren Befehl funktionieren. Jedes Experiment sollte anhand seiner Einstellungen vollständig reproduzierbar sein – und zwei Läufe zu vergleichen sollte nur wenige Sekunden dauern, nicht einen ganzen Nachmittag, um im Code nach alten Fehlern zu suchen. Andrej Karpathy erwähnt in seinen Tipps für das Training neuronaler Netze einen Schritt, der hundertmal mehr Ertrag bringt als Aufwand: Überanpassung an einen einzelnen Batch, bevor du groß angelegt trainierst. Das dauert nur 30 Sekunden – und die Hälfte aller Fehler verschwindet. Reduziere alles auf eine kostengünstige Ebene, bringe es zum Laufen – und verbrauche dann erst Rechenleistung.

Gleichzeitig solltest du nicht mehr glauben, dass Ingenieurarbeit nur eine Nebenrolle in der Forschung spielt. An der Spitze der Forschung sind beide Bereiche verschmolzen. Nur Forscher, die selbst Testrahmen, Bewertungssysteme und Datenpipelines aufbauen können, können ihre Annahmen wirklich überprüfen. Alle anderen müssen in der Warteschlange stehen.

Konzentriere dich auf die tatsächlichen Ergebnisse

Eine stetig fallende Verlustfunktionskurve ist keine Analyse – sie ist nur ein Placebo. Deine Experimente liefern viel mehr Informationen, als du normalerweise nutzt: Textdokumente, fehlgeschlagene Fälle, Ausreißer in langschwänzigen Verteilungen. Die meisten davon liegen still im Protokollordner, bis sie nie mehr betrachtet werden.

Karpathy hat eine Methode, die er schon vor dem Schreiben von Trainingscode anwendet: Nimm dir ein paar Stunden Zeit, um die Rohdaten selbst durchzugehen. Die meisten Fehler im maschinellen Lernen verstecken sich in den Daten – und sie sind „stille Fehler“. Das Programm stürzt nicht ab, du bekommst nur ein durchschnittliches Modell und eine falsche Theorie über die Ursache.

Andrew Ng lehrt seit über zehn Jahren diese unscheinbare Methode – denn nichts ist effektiver: Nimm dir zehntausend fehlgeschlagene Fälle, durchsehe sie alle, gruppiere sie und konzentriere dich auf die größte Gruppe. Das funktioniert sowohl für Modelle als auch für Bewertungssysteme. Wenn du nie die tatsächlichen Texte eines Benchmarks gelesen hast, hast du kein echtes Verständnis dafür. Ein Text, der wirklich merkwürdiges Verhalten zeigt, lehrt dich viel mehr als eine weitere Verbesserung der Genauigkeit um eine Dezimalstelle.

Wandere mit Absicht

Das erste Teilgebiet, in das du eintrittst, ist oft nur ein Zufall – also behandle es auch so. Bevor du dich für ein Fachgebiet entscheidest, in dem du tief einsteigst, nimm dir die Zeit, um Interpretierbarkeit, Bewertungsverfahren, Reinforcement Learning und Systemarchitekturen wirklich kennenzulernen. Irgendwo in diesem Fachgebiet gibt es sicher einen Bereich, in dem deine besonderen Eigenarten zu einem riesigen Vorteil werden – und der einzige Weg, ihn zu finden, ist, in mehreren Bereichen Erfahrungen zu sammeln. Diese Erfahrung muss jeder machen.

Für jede Idee erstellst du zuerst eine „Einmal-Version“, damit die meisten von ihnen früh scheitern. Optimiere deinen Basiswert (Baseline) bis zum Äußersten – denn im „Grab des maschinellen Lernens“ liegen viele sogenannte „Verbesserungen“, die vor einem gut optimierten Basiswert verschwinden. Und Reviewer sind die schlechtesten Ansprechpartner, um das zu verstehen. Führe ständig Ablationsstudien durch, bis du genau weißt, welche Komponente das Ergebnis verursacht hat. Meistens ist es nur eine – und oft nicht die, die im Titel der Veröffentlichung steht.

Breites Wissen ist auch eine Absicherung. Alle Teilgebiete werden irgendwann gesättigt – meistens kurz nachdem sie ihren Höhepunkt der Beliebtheit auf Twitter erreicht haben. Die Menschen, die auch in Zeiten des Wandels kontinuierlich gute Ergebnisse liefern, sind diejenigen, die schon lange die angrenzenden Bereiche kennen.

Finde Mitstreiter

Hamming entdeckte ein Muster, das bestimmt, wer am Ende wichtige Arbeit leistet: Kollegen, die ihre Bürotüren geschlossen halten, erledigen in einem Jahr vielleicht mehr Arbeit – aber diejenigen, die ihre Türen offen lassen, erzielen wirklich einflussreiche Ergebnisse. Denn die „Störungen“ durch Besucher liefern Informationen darüber, was die Welt wirklich braucht. Heutzutage ist dein offenes Büro wahrscheinlich dein Posteingang – halte ihn offen.

Die Zinseszinseffekte von Großzügigkeit in der Forschung sind unübertroffen. Reproduziere ein Ergebnis und veröffentliche deine Erkenntnisse; gib selbst entwickelte Tools frei; erkläre komplexe Konzepte in einfachen Worten. Die Belohnungen kommen oft auf unerwartete Weise nach Monaten – vielleicht als Zusammenarbeit, als Zitierung oder als eine Stelle, auf die du sonst nie hättest bewerben können. Teile auch deine noch unausgereiften Ideen öffentlich – denn die Kosten für einen Fehler in deiner Twitter-Timeline sind viel niedriger als in einer gedruckten Veröffentlichung. Und ein Partner, der dir schon sagt „Diese Idee ist schlecht“, bevor du drei Monate Arbeit investiert hast, ist viel wertvoller als zusätzliche Rechenleistung. Solche Beziehungen lassen sich nicht kaufen – du musst sie dir verdienen.

Das langfristige Spiel

Pasteur sagte: „Das Glück begünstigt den vorbereiteten Geist.“ Hamming baute darauf eine vollständige Berufsphilosophie auf: Wissen und Produktivität wachsen wie Zinsen auf Zinsen. Einzeln betrachtet scheinen die kleinen Vorteile, die du jeden Tag erlangst, unbedeutend zu sein – was du liest, was du dokumentierst, wie schnell deine Iterationszyklen laufen und mit wem du diskutierst. Aber nach einigen Jahren formen sie eine Karriere, die für Außenstehende wie reines Glück aussieht. Fange früh an, diese Zinseszinseffekte aufzubauen, bevor du es für nötig hältst. Dein zukünftiges Ich wird verstehen, dass diese Anstrengung heute die billigste ist, die du jemals machen wirst.

Übersetzer: boxi.