Empfohlen von Lin Junyang, gestehen Anthropic-Forscher: Wie wird man ein exzellenter Forscher?

In der KI-Branche ist die Rolle eines Forschers sowohl eine Identität als auch eine Illusion.

Viele Menschen glauben, sie würden Forschung betreiben, aber tatsächlich verfolgen sie nur Papers, Trends und die Ankündigungen großer Unternehmen... Sie scheinen sehr beschäftigt zu sein, aber in Wirklichkeit stehen sie still.

Kürzlich hat der Forscher Vivek Nair von Anthropic einen langen Beitrag auf 𝕏 veröffentlicht und seine Ansichten über wie man ein guter Forscher wird geteilt.

Originalquelle: https://x.com/itsreallyvivek/status/2064686372737454155

Er weist darauf hin, dass echte Forschungskompetenz nie durch das Verfolgen von Trends entsteht, sondern aus einer Reihe von kleinen Fähigkeiten zusammengesetzt ist, die bewusst trainiert werden können: Wie man ein Thema auswählt, wie man Literatur liest, wie man schreibt und wie man den Experimentzyklus beschleunigt. Jede dieser Punkte hat konkrete Methoden, und bei jedem Punkt hat man echte Probleme gehabt.

Dieser Artikel enthält keine leeren Versprechungen, nur nützliche Informationen. Nach dem Lesen mag es ein wenig weh tun, denn er spricht über Fragen, über die die meisten von uns nie ernsthaft nachgedacht haben.

Dieser Artikel hat breite Aufmerksamkeit erregt, und viele Forscher haben sich an der Diskussion beteiligt.

Lin Junyang, der ehemalige Leiter von Qwen, hat diesen Beitrag auch geteilt.

Jetzt schauen wir uns diesen Artikel genauer an:

Es wird dir wirklich niemand beibringen, wie man Forschung betreibt. Du bekommst einen Schreibtisch, ein von jemand anderem ausgewähltes Problem und eine vage Anweisung, etwas Neues zu produzieren. Deshalb rekonstruieren die meisten Menschen diese Arbeit anhand dessen, was sie sehen können (d.h. Papers, Beiträge und Ankündigungen).

Am Ende lernen sie nur, wie man aussehen kann wie ein Forscher, aber nicht, wie man tatsächlich ein Forscher wird.

Echte Forschungskompetenz besteht aus einer Reihe kleinerer Fähigkeiten, von denen fast jede bewusst trainiert werden kann.

Wähle dein eigenes Problem

Richard Hamming hatte in Bell Labs eine Gewohnheit, die ihn beim Mittagessen unbeliebt machte. Er fragte die Leute, die in seiner Nähe saßen, was die wichtigen Probleme in ihrem Bereich seien. Dann fragte er, warum sie nicht an diesen Problemen arbeiteten. Also wechselte die Leute den Tisch.

Richard Hamming (1915 - 1998) war ein amerikanischer Mathematiker und Pionier der Informatik. Er war lange Zeit bei Bell Labs tätig. Seine bekanntesten Beiträge sind der Hamming-Code und die Hamming-Distanz, die die Grundlage für moderne Fehlersuch- und -korrekturverfahren und die digitale Kommunikation legten und es Computern und Kommunikationssystemen ermöglichen, Fehler bei der Datenübertragung zu erkennen und zu korrigieren. Neben seiner technischen Forschung war Hamming auch für seine Überlegungen zur Forschungsmethodik bekannt. Seine Rede "You and Your Research" wird bis heute weit verbreitet und von vielen Wissenschaftlern und Ingenieuren als klassisches Werk über die Durchführung wichtiger Forschung angesehen.

Diese Frage ist verletzend, weil die meisten von uns keine guten Antworten haben. Wir wählen keine Probleme, sondern nehmen sie auf. Wir nehmen sie von unseren Betreuern, von den Ankündigungen eines großen Labors im letzten Quartal und von dem Paper, das alle in dieser Woche weitergeben und zitieren.

Das Problem mit den aufgenommenen Problemen ist, dass du nur die Ergebnisse kennst, aber den Denkprozess fehlt.

Du weißt, dass ein berühmtes Labor sich für eine bestimmte Richtung interessiert. Du weißt nicht, warum, was sie zu entdecken hoffen oder was sie dazu bringen würde, diese Richtung aufzugeben. Wenn sie die Forschungsrichtung wechseln, wirst du es erst ein Jahr später bemerken. Und bei einem bereits populären Problem konkurrierst du mit tausenden von Menschen, die früher begonnen haben und mehr Rechenleistung haben als du.

John Schulman teilt in seiner Anleitung für ML-Forschung diese Arbeit in zwei Modi auf.

http://joschu.net/blog/opinionated-guide-ml-research.html

Im ersten Modus liest du Literatur und suchst nach Verbesserungsmöglichkeiten. Im anderen Modus wählst du ein Ergebnis aus, das du wirklich gerne sehen möchtest, und arbeitest dann rückwärts die erforderlichen Experimente aus.

Er befürwortet die zweite Methode. Der tiefere Grund dafür ist, dass diese Methode Originalität schafft. Ein Ziel, das dich wirklich interessiert, zieht dich in Bereiche, die von keinem Übersichtsartikel abgedeckt werden.

Zur gleichen Zeit wird Geschmack oft wie ein Talent diskutiert. Aber es verhält sich eher wie ein Muskel. Vor jedem Experiment, das du durchführst, prognostiziere das Ergebnis. Verberge den Ergebnisteil eines Papers und rate die Daten nur anhand der Methode. Notiere dir, was in diesem Monat veröffentlicht wird und in zwei Jahren noch wichtig sein wird, und überprüfe später, wie gut deine Vorhersagen waren. Eine Vorhersage und eine Korrektur, hundertmal wiederholt, so wird jedes gute Modell trainiert. Das Modell in deinem Kopf ist da keine Ausnahme.

Verbessere deine Eingaben

Gemeinsame Leseempfehlungen führen zu gemeinsamen Ideen. Wenn deine Informationsquellen die Trendsseite von arXiv und die Inhalte sind, die in der Gruppenchat-Filterung überlebt haben, wirst du zwangsläufig zu den gleichen Schlussfolgerungen kommen wie andere. Das macht diese Schlussfolgerungen fast wertlos.

Der Wert alter Quellen wird stark unterschätzt. Dieses Feld wiederholt immer wieder seine eigene Vergangenheit: Mixture-of-Experts-Modelle gehen bis 1991 zurück, LSTM bis 1997, und die Rückpropagation wurde 1986 zum Standard.

Rich Sutton schrieb 2019 in etwa tausend Wörtern "Die bittere Lehre". Es kann die Entwicklung dieses Feldes genauer vorhersagen als ein zehnmal längerer Übersichtsartikel.

http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Claude Shannon hielt 1952 einen Vortrag über kreatives Denken. Sein erster Schritt war, ein Problem auf ein fast unbedeutendes Maß zu reduzieren, die minimierte Version zu lösen und dann die Schwierigkeit Schritt für Schritt wieder einzuführen. Dieser Trick wird dir helfen, Hindernisse zu überwinden, und ist weit wirksamer als alle modernen Produktivitätstipps.

Shannon

Breite und Tiefe des Wissens sind gleichermaßen wichtig. Die Interpretierbarkeit nimmt ungezogen Inhalte aus der Neurowissenschaften auf. Die Bewertungsgestaltung ist nichts anderes als Mechanismusgestaltung in Laborkleidung. Wenn du eine praktische Vorstellung davon hast, wie GPUs tatsächlich Speicher verschieben, kannst du vor den Benchmark-Ergebnissen beurteilen, welche Architekturpapers scheitern werden. Darüber hinaus ist ehrliche Statistik vielleicht die seltenste Fähigkeit in der ML. Hier ist viel von dem, was als rigorose Forschung veröffentlicht wird, nur eine falsche Atmosphäre mit Fehlerbalken.

Und noch etwas. Lies die Papers selbst, nicht die Beiträge, die sie zusammenfassen. Der Anhang ist der Ort, an dem die wirklich wichtigen Details versteckt sind. Und der Abschnitt über die Limitationen ist normalerweise der ehrlichste Teil des gesamten Dokuments.

Schreibe alles auf

Paul Graham hat festgestellt, dass eine Idee sich so anfühlt, als wäre sie schon vollständig ausgebildet, bis du sie in Worte fassen versuchst. Das Schreiben auf Papier zeigt die Lücken auf, die dein Gehirn verbirgt. Zum Beispiel Annahmen, die du nie getestet hast, Schritte, die in Wirklichkeit nicht zusammenhängen, und zwei Ansprüche, die sich im Verborgenen widersprechen.

Das Feynman-Prinzip besagt, dass die erste Person, die du nicht täuschen sollst, du selbst bist. Denn du bist das leichteste Ziel. Schreiben ist das billigste Abwehrmittel, das jemals erfunden wurde.

Feynman

Darwin ging noch einen Schritt weiter und machte es systematisch. Jede Tatsache, die seiner Theorie widersprach, wurde sofort niedergeschrieben. Denn er stellte fest, dass sein Gedächtnis ungünstige Beweise viel schneller löscht als günstige.

Dein Gedächtnis wird dasselbe mit deinen fehlgeschlagenen Experimenten tun. Halte die Gewohnheit, Aufzeichnungen zu führen: Annahmen, Einstellungen, Erwartungen, Ergebnisse, aktualisiertes Wissen. Das Neulesen der Aufzeichnungen vom letzten Monat wird dich demütigen, wie kein Gutachter es kann.

Dann mache einige dieser Inhalte öffentlich. Der Artikel von Ola und Carter über Forschungsdebt besagt, dass alle Bereiche von ungenutzten Ideen erstickt werden. Klarer Explanationen sind nicht nur eine Dienstleistung, sondern ein echter Beitrag. Viele Menschen, die sich heute mit Interpretierbarkeit befassen, haben dieses Feld durch leicht verständliche Beiträge entdeckt, nicht durch Konferenzpapiere. Viel öffentliches Schreiben kann auch als die stärkste Qualifikation dienen. Denn es ist eine unverfälschbare Probe deiner Denkweise.

Verringere die Feedback-Zyklen

Die Geschichten über Alec Radford handeln selten von einem einzigen genialen Einfall. Sie handeln eher von der Menge. Mehr Durchläufe pro Tag, mehr falsche Ideen pro Woche und ein schneller aktualisiertes Realitätsmodell als das von jedem anderen. Das ist die wahre Spielregel. Die Geschwindigkeit der Forschung hängt hauptsächlich davon ab, wie schnell du merkst, dass du falsch liegst.

Das macht die Entwicklung von Tools zu einer topaktuellen Forschungsaktivität. Ein Durchlauf sollte mit einem Befehl starten können. Das Erstellen von Diagrammen für die Ergebnisse sollte nur einen zusätzlichen Befehl erfordern. Jedes Experiment sollte aus seiner Konfigurationsdatei reproduzierbar sein. Der Vergleich zweier Durchläufe sollte nur wenige Sekunden dauern, auf keinen Fall einen Nachmittag, um in der Historie zu suchen.

Ein Schritt in Karpathys Geheimnis für das Training von neuronalen Netzen bringt einen hunderfachen Mehrwert: Übertrage vor dem massiven Training auf einem einzigen Datenbatch überanpassen. Innerhalb von 30 Sekunden verschwinden die Hälfte deiner Fehler. Verkleinere alles bis es billig wird, mache alles richtig und dann verwende Rechenleistung.