Anthropic schafft Programmierinterviews ab: Neueinsteiger haben zum ersten Mal die Möglichkeit, direkt mit Senior-Ingenieuren zu konkurrieren.

„Ich habe genug gesehen, um sicher zu sein, dass es keine gültigen Urteilssignale mehr liefert. Diesen Monat habe ich das Programmierinterview aus dem Einstellungsverfahren entfernt.“

So äußerte sich Felix Rieseberg, Engineering Manager bei Anthropic und Mitbetreuer von Electron, auf Twitter.

Rieseberg ist derzeit bei Anthropic für das Engineering-Management zuständig und leitete zuvor die Engineering-Teams von Produkten wie Claude.ai, Cowork und Claude Code Desktop. Zuvor arbeitete er nacheinander bei Notion, Stripe, Slack und Microsoft. Der Grund für seine Einschätzung lautet: Solche Tests können kaum noch gültige Einstellungssignale liefern.

Seiner Ansicht nach konnte in der Vergangenheit eine kleine React-Aufgabe oder eine kleine Programmierherausforderung aus echtem Code zwar nicht die Fähigkeiten eines Ingenieurs vollständig messen, spiegelte aber zumindest das Niveau des Kandidaten wider, Probleme zu definieren und schnell Lösungen zu finden. Mit der rasanten Verbesserung der KI-Programmierfähigkeiten nimmt diese Korrelation jedoch ab.

Aus Riesebergs Sicht ist die Bedeutung der Prüfung von Kandidaten mit kleinen React-Aufgaben inzwischen fast so groß wie die heutige Prüfung, ob ein Ingenieur Assembler von Hand schreiben kann: Claude ist bei diesen Aufgaben bereits leistungsstark genug, und die einflussreichsten Ingenieure im Team sind nicht unbedingt diejenigen, die bei traditionellen Codetests die besten Ergebnisse erzielen.

Die „Erfahrenen“ sind von ungeschriebenen Regeln gebunden

Hinter dieser Anpassung des Einstellungsverfahrens möchte Rieseberg ein anderes Thema erörtern: Was passiert mit der Kluft zwischen jungen und erfahrenen Ingenieuren, wenn KI immer mehr Arbeiten erledigen kann, für die früher jahrelange Programmiererfahrung erforderlich war?

Seine Einschätzung ist ziemlich optimistisch. „Hunger beats tenure“, also ein starker Handlungswille kann wichtiger sein als Dienstalter.

Rieseberg gibt an, dass er bereits einige Ingenieure gesehen hat, die erst seit kurzem in der Branche tätig sind und mithilfe von KI schnell ihre Kollegen überholen, die über bessere Programmiergrundlagen und längere Berufserfahrung verfügen. Früher mussten Ingenieure jahrelang Wissen über Frameworks, Bibliotheken und Tools sammeln, und diese Erfahrung bildete einen Teil der beruflichen Barrieren. Jetzt senkt KI die Einschränkungen, die diese Wissensakkumulation für die Ausführungsgeschwindigkeit mit sich bringt.

Seiner Meinung nach haben weniger erfahrene Ingenieure immer einen leicht unterschätzten Vorteil: Sie haben die impliziten Urteile innerhalb der Organisation darüber, „was nicht getan werden kann“, noch nicht vollständig übernommen.

Rieseberg erinnert sich, dass als er zu Stripe kam, der Gründer Patrick Collison neue Mitarbeiter daran erinnerte, besonders auf Dinge zu achten, die auf den ersten Blick seltsam oder unvernünftig erscheinen. Neue Mitarbeiter haben keine historischen Belastungen und können daher leichter Reibungen und Chancen entdecken, die erfahrene Mitarbeiter längst zur Gewohnheit gemacht haben.

Bei Notion erlebte er selbst etwas Ähnliches. Bei seinem Vorstellungsgespräch wurde Rieseberg aufgefordert, eine Architektur für den Offline-Modus zu entwerfen. Der Interviewer sagte ihm, dass dies eigentlich eine Frage mit einer „Falle“ sei, da das Team allgemein der Ansicht war, dass Notion keinen Offline-Modus implementieren könne: Das Datenmodell des Arbeitsbereichs sei zu komplex, und das separate Herunterladen von Seiten biete kein ausreichend gutes Benutzererlebnis.

Die Einschätzung zur Komplexität des Datenmodells erwies sich später als zutreffend, aber die Produktbeschränkung, von der damals alle dachten, dass „der Gründer sie nicht akzeptieren würde“, war nicht so fest wie angenommen. Viele Menschen betrachteten sie lange Zeit als Konsens, sodass nur noch wenige diese Angelegenheit neu hinterfragten. Als neuer Mitarbeiter im Unternehmen wusste Rieseberg zufällig nichts von dieser „ungeschriebenen Regel“ und entschied sich daher, noch einmal nachzufragen.

Interessanterweise wurde er ein Jahr später selbst der erfahrene Mitarbeiter, der neuen Mitarbeitern sagt: „Mach dir keine Mühe.“

Rieseberg versuchte, das Team mit großen Fernsehern auszustatten, um Echtzeit-Dashboards im Büro anzuzeigen, stoppte das Vorhaben aber auf organisatorischen Widerstand. Ein Jahr später brachte der neue Mitarbeiter Ji Pei dieselbe Idee vor. Rieseberg sagte ihm, dass er es bereits versucht habe und es nicht wert sei, weiterzumachen. Trotzdem fragte Ji Pei nach, und am nächsten Tag standen die Fernseher im Büro.

Mit dieser Geschichte möchte Rieseberg veranschaulichen, dass sogenannte „Erfahrung“ leicht zwei Dinge gleichzeitig trägt: das Verständnis für echte technische Einschränkungen und die organisatorische Trägheit, die nach vergangenen Fehlschlägen entsteht. Mit der Zeit lassen sich die beiden kaum mehr unterscheiden.

Zwei Neue haben am Wochenende das Hit-Produkt des Unternehmens entwickelt

Früher war es selbst für neue Ingenieure schwierig, organisatorische Maßnahmen voranzutreiben, selbst wenn sie Probleme entdeckten. Eine neue Idee erforderte oft das Schreiben eines PRD, die Sicherstellung der Unterstützung durch den Manager, die Koordination von Produktmanagern und Designern sowie die Beschaffung von Engineering-Ressourcen. Je höher die Ausführungskosten sind, desto eher neigt die Organisation dazu, die Entscheidungsgewalt an erfahrenerere Personen mit mehr internem Einfluss zu übergeben.

KI verändert diese Voraussetzung.

Riesebergs erster Ratschlag an junge Ingenieure lautet, sich auf die geschäftlichen Auswirkungen zu konzentrieren. Er zitiert einen Satz von Patrick McKenzie aus dem Jahr 2011: Ingenieure werden eingestellt, um geschäftlichen Wert zu schaffen, nicht nur um zu programmieren. Ingenieure müssen zuerst verstehen, was das Unternehmen, die Geschäftsbereiche und ihre Vorgesetzten wirklich erreichen wollen, und dann nach Möglichkeiten suchen, die Ergebnisse im Zusammenhang mit diesen Zielen erheblich zu verbessern.

Anschließend empfiehlt Rieseberg jungen Ingenieuren, eine ausreichend mutige Idee auszuwählen und dann an einem Wochenende einen funktionsfähigen Prototyp zu erstellen.

In einigen von ihm beobachteten Fällen können kleine Teams oder sogar einzelne Ingenieure die langwierigen Produktgenehmigungsprozesse der Vergangenheit umgehen und direkt mit KI einen funktionsfähigen Prototyp erstellen. Wenn Führungskräfte ein Produkt sehen können, das angeklickt, ausgeführt und ausprobiert werden kann, braucht die Idee eines neuen Mitarbeiters nicht mehr vollständig von Position, Dienstalter und internen Kontakten abhängig zu sein, um Aufmerksamkeit zu erregen.

Er empfiehlt jedoch nicht, zu viele Ideen in den Prototyp einzubauen. Junge Ingenieure neigen dazu, ein Dutzend Funktionen auf einmal hinzuzufügen, sodass am Ende mehrere wirklich wertvolle Ideen von einer Vielzahl sekundärer Funktionen überdeckt werden. Ein guter Prototyp dient zunächst der Kommunikation: Er muss Entscheidungsträgern schnell verständlich machen, wo die Chance liegt und warum die Person, die diesen Vorschlag unterbreitet hat, geeignet ist, ihn weiter zu verantworten.

Bei Benutzerprodukten haben neue Mitarbeiter noch einen weiteren Vorteil: Sie stehen normalen Benutzern näher. Rieseberg erinnert sich an seine Zeit bei Slack und Notion: Mitarbeiter, die lange an der Produktentwicklung beteiligt waren, konnten kaum noch nachvollziehen, wie sich ein externer Benutzer fühlt, wenn er diese Produkte zum ersten Mal nutzt. Wenn es um Infrastruktur und Entwicklungstools geht, tragen neue Mitarbeiter ebenfalls nicht so viele vorgefasste Meinungen wie „das wurde schon einmal ausprobiert“ oder „hier kann man nie etwas ändern“.

Rieseberg nennt auch ein sehr repräsentatives Beispiel aus dem Inneren von Anthropic.

Mit der steigenden Nutzung von Claude Code gewöhnten sich die Mitarbeiter von Anthropic allmählich daran, Claude Code als Befehlszeilentool zu verwenden. Anschließend erstellten zwei relativ neu eingestellte Ingenieure, Anthony Morris und Alice Zhao, an einem Wochenende einen funktionsfähigen Prototyp mit grafischer Oberfläche. Etwa 8 Tage später wurde die erste öffentliche Version offiziell veröffentlicht.

Rieseberg erwähnt, dass die grafische Oberfläche von Claude Code später zu einem sehr beliebten Produkt wurde. Solche Projekte erforderten in der Vergangenheit eine ganze Reihe von Prozessen wie Anforderungsdiskussionen, PRD, Produktdesign und Koordination von Entwicklungsressourcen. KI ermöglicht es einem sehr kleinen Team, das Produkt zuerst fertigzustellen und dann mit dem fertigen Produkt zu beweisen, dass die Anforderung existiert.

Diese Veränderung ist auch der Grund, warum er der Ansicht ist, dass die Chancen für junge Ingenieure steigen. Personen ohne Position und organisatorischen Einfluss konnten früher kaum das Unternehmen dazu bringen, Ressourcen für eine unbewiesene Idee einzusetzen. Wenn eine Person mithilfe von KI eine Idee bis zu einem funktionsfähigen Stadium vorantreiben kann, sinken die Dienstaltersbarrieren innerhalb der Organisation.

Kein traditionelles Codierungs-Interview mehr – Wie sollen neue Ingenieure geprüft werden?

Wenn also traditionelle Code-Interviews die Fähigkeiten von Ingenieuren immer weniger messen können, was soll sie ersetzen?

Rieseberg gibt offen zu, dass er derzeit noch keine vollständige Antwort hat. Seine derzeitige Vorgehensweise lautet: Er sucht nach „kleinen Prototypen“ in Lebensläufen und Portfolios und achtet besonders auf den Produktgeschmack, das Benutzerempathie und das klare, systematische Denkvermögen, die die Kandidaten in diesen Werken zeigen.

Das ist auch der Punkt, an dem Riesebergs X-Beitrag nach der Veröffentlichung auf Kritik stößt. „Wir alle wissen, dass traditionelle Programmierinterviews im KI-Zeitalter keine ausreichend gültigen Urteilssignale mehr liefern. Das Problem ist, dass in einem 60-minütigen Interview bisher kein besserer Ersatzindikator gefunden wurde. Ich habe in Ihrem Beitrag auch keine solche Antwort gesehen.“

Ein Kandidat, der gerade an der Einstellung bei Anthropic teilgenommen hat, erwähnt ebenfalls, dass er einen Take-home-Test absolviert hat. Im Vergleich zu traditionellen Code-Interviews weist die neue Bewertungsmethode ebenfalls Unsicherheiten auf. Andere Entwickler schlagen vor, den Kandidaten ein Code-Repository zu geben, in dem die KI sehr selbstbewusst geschrieben hat, aber tatsächlich Fehler enthält, um zu beobachten, ob der Kandidat die Modellfehler erkennen und an seinem eigenen Urteil festhalten kann.

Die Gemeinschaft stimmt nicht alle der Einschätzung zu, dass Programmierinterviews abgeschafft werden. Einige Entwickler sind der Ansicht, dass KI-Unternehmen wie Anthropic Besonderheiten aufweisen, und dass viele traditionelle Unternehmen noch viele Jahre lang Algorithmus- und Codetests verwenden werden. Andere weisen darauf hin, dass die größte Schwierigkeit derzeit nicht darin liegt, ob junge Ingenieure mithilfe von KI ausreichend starke Ausführungsfähigkeiten zeigen können, sondern darin, wie sie in der Phase der Lebenslaufauswahl die Chance erhalten, diese Fähigkeiten zu zeigen. Schließlich mögen es einige Unternehmen heute immer weniger, neue Ingenieure einzustellen.

Trotzdem ist Rieseberg der Ansicht, dass traditionelle Programmierinterviews kaum wieder den Stellenwert der Vergangenheit erreichen werden. Das Software-Engineering hat bereits mehrere Anstiege der Abstraktionsebenen erlebt: von Assembler zu Hochsprachen, vom Schreiben vieler grundlegender Codes von Hand zum Aufrufen von Frameworks und Cloud-Diensten. Jetzt abstrahiert KI einen Teil der Programmierimplementierung noch einmal nach oben.

Für Ingenieure, die gerade in die Branche einsteigen, bringt diese Veränderung auch eine andere Art des Wettbewerbs mit sich als früher. Berufserfahrung bedeutet immer noch Erfahrung, aber die Bindung zwischen Ausführungsfähigkeit und Dienstjahren schwächt sich ab. Eine Person, die Geschäftsziele verstehen, Probleme erkennen kann, die von organisatorischer Trägheit übersehen werden, und mithilfe von KI Ideen schnell in Produkte umsetzen kann, muss möglicherweise immer kürzer warten, um Einfluss zu erlangen.

Ein völlig neues Einstellungsparadigma ist noch nicht ausgereift

Derzeit gibt es noch nicht viele Fälle wie Rieseberg, die Programmierinterviews direkt abschaffen. Meistens wird untersucht, wie sich Kandidaten verhalten, wenn sie KI-Programmierwerkzeuge verwenden dürfen.

Diesen Januar veröffentlichte Tristan Hume, einer der Leiter des Leistungsoptimierungsteams bei Anthropic, eine ziemlich dramatische Einstellungserfahrung: Um Leistungsingenieure einzustellen, entwickelte er ab 2024 einen Take-home-Test zur Simulation der Beschleunigeroptimierung und erlaubte den Kandidaten ausdrücklich, KI-Tools zu verwenden. Sie wollten bewerten, ob die Kandidaten auch mit KI-Unterstützung ihr Urteilsvermögen und ihre Optimierungsfähigkeiten unter Beweis stellen können.

Etwa 1000 Kandidaten haben diesen Test absolviert, und Anthropic hat damit viele Mitglieder des Leistungsingenieurteams eingestellt. Der Test ist besonders effektiv für junge Kandidaten: Einige Ingenieure mit nicht herausragendem Lebenslauf, die gerade ihren Bachelor abgeschlossen haben, erhielten aufgrund ihrer hervorragenden Leistungen im Test ein Angebot und bewiesen nach der Einstellung auch ihre Fähigkeiten.

Inzwischen hat Claude die Interviewfragen allmählich „durchdrungen“. Claude 3.7 Sonnet hat einen Punkt erreicht, an dem mehr als die Hälfte der Kandidaten bessere Ergebnisse erzielt, wenn sie die Aufgabe direkt von Claude Code erledigen lassen. Opus 4 übertraf die Leistungen der meisten Menschen innerhalb von 4 Stunden noch weiter. Das Team aktualisierte die Fragen daher auf die zweite Version und verkürzte die Testzeit von 4 auf 2 Stunden. Einige Monate später holte Opus 4.5 wieder auf: Es erreicht unter der 2-Stunden-Begrenzung bereits das Niveau der stärksten menschlichen Kandidaten. Das Team musste schließlich neue Fragen entwerfen und absichtlich Einschränkungen, minimale Befehlssätze und neue Rätsel hinzufügen, die das Modell zuvor noch nicht gesehen hatte.

Hume gibt selbst zu, dass dieser neue Test die Ähnlichkeit zur tatsächlichen Arbeit opfert, denn je näher die Aufgabe der echten Entwicklungsarbeit kommt, desto leichter kann Claude sie erledigen.

Es ist erwähnenswert, dass auf der offiziellen Website von Anthropic derzeit noch angegeben wird, dass einige technische Stellen Tools wie Colab und CodeSignal für Live-Codierung verwenden. Gleichzeitig regelt der Leitfaden zur Nutzung von KI für Kandidaten, dass die Verwendung von Claude bei Take-home-Tests standardmäßig nicht erlaubt ist, und KI-Unterstützung bei Live-Interviews standardmäßig ebenfalls nicht erlaubt ist, sofern nichts anderes angegeben ist.

OpenAI verwendet derzeit ebenfalls ein „gemischtes“ Modell. Verschiedene Teams können Pair-Coding, Take-home-Tests oder technische Prüfungen arrangieren; einige Interviews erlauben KI, andere beobachten speziell die unabhängige Problemlösungsfähigkeit der Kandidaten ohne KI-Hilfe. OpenAI gibt ausdrücklich an, dass sie nicht nur das Endergebnis interessieren, sondern auch, wie der Kandidat Probleme analysiert, Entscheidungen trifft und seine Denkweise erklärt.

In China gibt es bereits ähnliche Praktiken. Tang Feihu, der bei Moonshot AI für Forschung und Entwicklung sowie für die Entwicklerbeziehungen zuständig ist, erwähnte in einem früheren Interview mit InfoQ, dass er als Interviewer Kandidaten nicht daran hindert, KI zu verwenden. Er entwirft Aufgaben, die nur durch Zusammenarbeit von Mensch und Maschine erledigt werden können, und hinterlässt absichtlich Probleme, um zu beobachten, ob der Kandidat verstehen kann, was passiert ist, Modellfehler erkennt und die Richtung anpasst.

Canva geht noch