„Wenn man nicht einmal die Wahrheit hören kann, wie soll man dann Probleme lösen?“ Die Dario-Geschwister enthüllen die Hintergründe ihres Weggangs von OpenAI vor fünf Jahren, gründen Anthropic mit sieben Personen und versprechen, dass Claude keine Werbung eingebaut wird.

Ohne Zweifel ist Anthropic zu einem der am meisten beachteten Unternehmen in der KI-Branche geworden. Die kürzlich bekanntgewordene Nachricht über die Einreichung der IPO-Unterlagen hat das Unternehmen noch stärker in das Rampenlicht gerückt. Nur wenige Menschen hätten vor 5 Jahren gedacht, dass Dario Amodei und seine Schwester Daniela Amodei damals noch wichtige Positionen bei OpenAI innehatten, später aber beschlossen, das Unternehmen zu verlassen und gemeinsam mit fünf weiteren Mitbegründern ein neues Unternehmen zu gründen.

Einer konzentrierte sich auf die technische Forschung, der andere war in Verwaltung und Betrieb versiert – sieben Menschen kamen zusammen, um das Unternehmen zu gründen. Damals wurde diese Gründerkombination nicht von allen für erfolgversprechend gehalten. Aber sie haben Anthropic nicht nur erfolgreich aufgebaut, sondern alle sieben Mitbegründer sind bis heute im Unternehmen geblieben.

Warum haben sie ein bereits einflussreiches KI-Unternehmen verlassen? In seinem jüngsten Gespräch mit dem Biographen Walter Isaacson gab Dario eine direkte Antwort. Er sagte: „Ehrlichkeit gehört zu unseren zentralen Werten! Wenn eine Person nicht einmal diese grundlegende Eigenschaft der Ehrlichkeit besitzt, kann man überhaupt nicht wissen, was ihre wahren Werte wirklich sind.“

Zu den Gründen für den Verlass von OpenAI fügte er hinzu: „Wenn Sie in einer Organisation arbeiten und nicht darauf vertrauen können, dass interne Meinungsverschiedenheiten auf Wohlwollen beruhen, und nicht darauf vertrauen können, dass Sie die Wahrheit hören, wie können Sie dann erwarten, diese Probleme zu lösen?“

Vertrauen und Ehrlichkeit sind auch ein Schlüssel zum Verständnis des Sicherheitskonzepts von Anthropic KI. Für Dario und Daniela geht es nicht nur darum, was das Modell tun kann, sondern auch darum, welche Risiken es mit sich bringen kann und welche Verantwortung die Entwickler übernehmen sollten. Sie befürchten, dass KI lügt, um die Nutzer zu gefallen, und sie wollen nicht sehen, dass Modelle für Massenüberwachung oder vollautomatische Waffen eingesetzt werden.

Sie sprachen auch über mehrere Fragen, die weiterverfolgt werden sollten: Wie hat Claude gelernt, zwischen Recht und Unrecht zu unterscheiden? Worauf verlassen sich die sieben Gründer, um Meinungsverschiedenheiten zu vermeiden, wenn sie gemeinsam Entscheidungen treffen? Wenn KI eines Tages wirklich fast alle Arbeiten übernimmt, was müssen die Menschen dann noch anstreben und wie können sie den Sinn des Lebens finden?

Im Folgenden finden Sie die bearbeitete Fassung dieses Interviews.

01

„Gemeinsames Gründen von sieben Personen“ ist der Schlüssel zum Erfolg von Anthropic

Walter Isaacson: Ich bin Walter Isaacson. Willkommen bei „The Builders“, meiner neuen Interviewreihe, in der ich tiefgehende Gespräche mit wichtigen Denkern führe, die unsere Zukunft gestalten. Heute sind meine Gesprächspartner Dario Amodei und Daniela Amodei.

Ich war früher der Meinung, dass einige Sorgen der Außenwelt über KI übertrieben sind. Aber als einige neue Modelle die Sandbox-Tests durchbrachen, wurde mir klar, dass diejenigen, die diese Systeme bauen, sicherstellen müssen, dass sie sicher bleiben und immer mit den menschlichen Werten übereinstimmen. Über Anthropic möchte ich wissen: Sind sie aufrichtig? Wenn sie mit Konkurrenz konfrontiert sind – zum Beispiel wenn OpenAI sagt: „Was Anthropic nicht tun will, sind wir bereit zu tun“ – werden sie dann Kompromisse eingehen und zurückweichen, oder an ihren Prinzipien festhalten? Willkommen beide bei „The Builders“.

Daniela Amodei: Vielen Dank, dass Sie uns eingeladen haben.

Walter Isaacson: Jedes Mal, wenn Steve Jobs ein Produkt vorstellte, zeigte er immer das Straßenschild, das an der Kreuzung von „Humanität und Technologie“ oder „Kunst und Wissenschaft“ stand. Daniela, während Sie aufwuchsen, waren Sie Flötistin und liebten die Kunst; während Dario immer ein Wissenschaftler war. Hat dieser Unterschied Ihre Zusammenarbeit gefördert? Glauben Sie, dass diese Kombination für das Unternehmen wichtig ist?

Dario Amodei: Ja, ich denke, diese Kombination ist eine der Kernkräfte, die das Unternehmen stützen. Ich habe die Ansicht, dass die Leitung eines Unternehmens eine zu große Aufgabe für eine einzelne Person ist, und das Spektrum der erforderlichen Fähigkeiten kann nicht von einer einzelnen Person vollständig abgedeckt werden. Sie müssen ein vollständiges System sich ergänzender Fähigkeiten im Kern des Unternehmens (z. B. unter den oberen 10 bis 15 Personen) aufbauen. Jedes erfolgreiche Unternehmen teilt die Verantwortlichkeiten und löst Probleme auf unterschiedliche Weise. Was die Integration von Wissenschaft und Humanismus betrifft, so repräsentieren Daniela und ich genau dies und haben die Aufgaben entsprechend aufgeteilt.

Daniela Amodei: Ja. Interessanterweise haben wir 2023 eine Strategiesitzung abgehalten, um darüber zu diskutieren, wie es sich anfühlt, bei Anthropic zu arbeiten, und wie wir unsere Unternehmenskultur zum Ausdruck bringen können. Damals haben wir es definiert als eine seltene Verschmelzung von Wissenschaft und Humanismus. Später wurde mir klar, dass dies auch die Beziehung zwischen Dario und mir beschreibt.

Walter Isaacson: Wussten Sie schon als Kinder, dass Sie später einmal zusammenarbeiten würden?

Daniela Amodei: Ja.

Dario Amodei: Ja. Ich glaube, wir beide haben damals nicht daran gedacht, ein Unternehmen zu gründen – das war überhaupt nicht die Art und Weise, wie wir unser Leben geplant oder unsere Ziele gesetzt haben. Ich wollte immer Wissenschaftler werden, und Daniela kann über ihre Ziele sprechen. Aber früher hatte ich eigentlich kein Interesse an Geschäftstätigkeit oder an der Gründung eines Unternehmens.

Daniela Amodei: Seit wir sehr klein waren, waren Dario und ich anders – wir mochten uns aufrichtig und waren schon von klein auf beste Freunde. Ich stimme Dario zu: Die Gründung eines Unternehmens stand keineswegs auf unserer Lebensplanliste. Wir waren nicht die Art von Menschen, die sich für Geschäftstätigkeit begeistern.

Ich war immer eher ein typischer „altruistischer Idealist“ und habe im Bereich der internationalen Entwicklung gearbeitet. Ich war fest entschlossen, Menschen auf der ganzen Welt zu helfen, gleiche Entwicklungschancen und Rechte zu erhalten. Ich wurde schon in sehr jungen Jahren Vegetarierin – das war das Einzige, was ich ihm voraus hatte – denn Dario ist älter und hat normalerweise immer zuerst etwas ausprobiert. Aber diesmal war ich zuerst Vegetarierin, und dann wurde auch er Vegetarier.

Dario Amodei: Ja, ich war ungefähr drei Jahre später dran.

Daniela Amodei: Eigentlich nicht so lange, du warst schnell überzeugt.

Dario Amodei: Weil es wirklich überzeugend klang.

Daniela Amodei: Das stimmt.

Walter Isaacson: Ich werde oft nach meinen Biographien gefragt: Wie wird man ein herausragender Führer oder eine sehr kreative Person? Dario, Sie haben gerade einen sehr tiefgründigen Punkt gemacht – der Schlüssel liegt nicht nur darin, ein hervorragender Führer zu sein, sondern darin, ein ausgezeichnetes Team aufzubauen. Erzählen Sie bitte, wie Sie und Daniela die Verantwortlichkeiten aufgeteilt haben und wie Sie andere Personen eingebracht haben, um das Team zu vervollständigen?

Dario Amodei: Die effektivste Art der Aufgabenteilung zwischen uns beiden ist: Ich kann meine maximale Effizienz entfalten, wenn ich mich auf die übergreifende Strategie und die Spitzenforschung konzentriere. Meine Stärke liegt darin, die Vision zu planen und den nächsten Schritt der technologischen Entwicklung vorauszusehen. Es hat sich gezeigt, dass ich den größten Wert für das Unternehmen schaffen kann, wenn ich mich voll und ganz diesem Bereich widmen kann.

Daniela ist hauptsächlich für den täglichen Betrieb, die Personalbeschaffung und dafür verantwortlich, dass das gesamte System reibungslos läuft und die laufenden Prozesse nicht auseinanderfallen. Diese Arbeitsteilung ermöglicht es, beide Aufgaben auf einem sehr hohen Niveau zu erledigen – viel besser als wenn wir uns gegenseitig in unsere Angelegenheiten einmischen und abgelenkt werden.

Daniela Amodei: Unser Chief People Officer (CPO) kennt uns beide sehr gut und kommuniziert häufig mit uns. Sie hat einmal zusammengefasst: „Dario gibt uns den Ehrgeiz, und Daniela lässt uns erfolgreich sein.“ Ich finde diese Zusammenfassung sehr präzise. Ohne Dario wäre Anthropic vielleicht ein gutes erfolgreiches Unternehmen, aber es würde die Welt nicht verändern. Und wenn es nur Dario gäbe, hätten wir eine perfekte Vision, aber die Umsetzung wäre extrem kompliziert.

Das Besondere an uns ist erstens, dass wir uns extrem gut kennen, und zweitens, dass unsere Fähigkeiten einander fast perfekt ergänzen. Ganz zu schweigen von den fünf weiteren Mitbegründern außer uns beiden, die jeweils äußerst kritische Teile des Geschäfts, der Organisation und der Kultur des Unternehmens steuern. Es ist schwer vorstellbar, wie wir ein so großes Unternehmen nur mit zwei Personen oder einer einzelnen Person aufbauen könnten.

Dario Amodei: Ich halte das für einen großen Vorteil. Wir haben sieben Mitbegründer mit gleichen Rechten im Unternehmen, die gemeinsam diese Vision tragen. Wir haben absolutes Vertrauen zueinander.

Als wir Anthropic gerade gegründet haben, haben uns viele Menschen gewarnt: „Sieben Mitbegründer? Das wird definitiv eine Katastrophe.“ Die Außenwelt war der allgemeinen Meinung, dass ein Unternehmen einen einzigen höchsten Machtkern braucht. Das ist in gewissem Maße richtig, aber wir haben es geschafft, dieses Modell effizient zum Laufen zu bringen.

Bis heute sind alle sieben Mitbegründer noch im Unternehmen tätig – das ist bei Startups mit vielen Mitbegründern äußerst selten.

Walter Isaacson: Kehren wir zu Ihrer Kindheit zurück. Sie hatten außergewöhnliche Eltern, die Ihnen beigebracht haben, zwischen Recht und Unrecht zu unterscheiden. Wie haben Sie sie konkret angeleitet?

Daniela Amodei: Ich glaube nicht, dass es eine absichtliche Predigt war. Manchmal höre ich andere Leute sagen, dass sie am Esstisch verschiedene Strömungen der ethischen Philosophie diskutiert haben, aber bei uns zu Hause war das überhaupt nicht so. Obwohl meine Mutter tatsächlich einen Abschluss in Philosophie hat, hat sie uns nie gezwungen, über Theorien wie Kant zu diskutieren.

Diese Erziehung zeigte sich eher in Werten, die uns langsam und unmerklich vermittelt wurden – zum Beispiel in der Überzeugung, dass jeder Mensch auf der Welt gleiche Chancen, Würde, Rechte und Respekt verdient.

Es gab auch ein besonderes Vertrauen: Solange man im Herzen gut gesinnt ist, andere gut behandelt und versteht, dass dies das Wesen eines erfolgreichen Menschen ist, können wir frei wählen, wer wir sein wollen.

Dario Amodei: Ja, all das war implizit, sehr zurückhaltend und natürlich. Es gab nie starre Dogmen, die vorschrieben „Du musst dies tun“ oder „Du musst so in der Welt stehen“.

02

Claude so zu lehren, wie man anderen etwas beibringt

Walter Isaacson: Wie Sie erwartet haben, frage ich das, weil Sie jetzt ein sehr wichtiges „Kind“ aufgezogen haben – Claude. Inwiefern hat Ihre Art des Aufwachsens beeinflusst, wie Sie Claude beibringen, zwischen Recht und Unrecht zu unterscheiden?

Dario Amodei: Wir haben vor einigen Monaten die „Verfassung“ von Claude (Constitutional AI) veröffentlicht. Darin sind einige interessante Erfahrungen enthalten, die wir über Jahre in verschiedenen Versionen der Trainingspraxis gesammelt haben.

Früher haben wir uns vorgestellt, Claude verschiedene spezifische Regeln zu geben, zum Beispiel „Hilfe nicht bei Straftaten“, „Hilfe nicht bei der Herstellung von biologischen Waffen“ und so weiter. Später haben wir aber festgestellt, dass wenn man eine lange Liste getrennter Regeln aufzählt – ich verwende hier ein Gleichnis, das technisch sehr passend ist – die kognitiven Grenzen des Modells sehr „stachelig“ werden, als ob man versuchen würde, 170 voneinander unabhängige, leicht subjektive starre Regeln zwangszuvermitteln.

Wir haben herausgefunden, dass es besser ist, dem Modell grundlegende Richtlinien beizubringen: Was es priorisieren soll und wie es schlussfolgern soll, was das richtige Vorgehen ist. Das ist eigentlich auch die richtige Art, Menschen zu erziehen.

Wenn Sie jemandem nur eine Liste von Verboten geben – „Du musst dies tun, du darfst das nicht tun“ – wird die daraus entstehende Moral oft nicht stabil genug sein. Im Gegenteil, wenn Sie es anleiten: „So solltest du über Probleme nachdenken, du sollst lernen, selbstständig zu denken und auf der Grundlage dieser Grundprinzipien zu handeln – zum Beispiel das Prinzip der offenen Erkundung, das Prinzip der Fürsorge für andere, das Prinzip der Fairness und Gerechtigkeit.“ Alle Verhaltensregeln werden aus diesen Kernprinzipien abgeleitet.

Das ist genau die Art und Weise, wie Claude lernt. Es hat sich gezeigt, dass diese Methode äußerst effektiv ist, weil sie Claude die Fähigkeit verleiht, sich auf neue, unerwartete Situationen zu generalisieren und von einzelnen Fällen auf das Allgemeine zu schließen.

Walter Isaacson: Daniela, Sie haben gerade gesagt, dass Ihre Mutter Kant-Forscherin ist. Haben Sie sich intensiv mit Philosophie und Moralphilosophie befasst?

Daniela Amodei: Interessanterweise hat die Leiterin, die bei Anthropic für das Training der Charaktereigenschaften von Claude verantwortlich ist, Amanda (Amanda Askell), selbst einen Doktortitel in Philosophie. Das erscheint vielen Menschen intuitiv widersprüchlich – man geht oft davon aus, dass die Person, die die Charaktereigenschaften eines großen Modells gestaltet, unbedingt ein Informatiker oder ein Experte ist, der jahrzehntelang maschinelles Lernen erforscht hat. Amanda beherrscht die Technik ebenfalls perfekt und führt die technischen Trainings selbst durch. Aber wenn Sie mit Claude kommunizieren, können Sie seine Charaktereigenschaften wirklich spüren: ein intelligentes Erlebnis, das die „bessere Seite der menschlichen Natur“ nutzt, um Fragen zu beantworten.

Sie können den Einfluss von Amanda besonders stark spüren, wenn Sie Claude in komplexen, heiklen Bereichen befragen, in denen verschiedene philosophische Strömungen miteinander in Konflikt stehen. Claude zeigt objektiv: „Sie können die Dinge aus dieser Perspektive betrachten, aber Sie können sie auch aus einer anderen Perspektive in Betracht ziehen.“

Das ist äußerst wichtig. Da die Welt immer stärker von diesen Modellen abhängt, darf man niemals von einer einzigen philosophischen Strömung gefesselt werden. Ethik und Moral sind extrem komplex, und verschiedene Kulturen und Gruppen haben völlig unterschiedliche Verständnisse und Ansprüche an „angemessenes und moralisches Handeln“.

03

Von dem Beitritt zu OpenAI bis zur Trennung: Der Grund ist, dass „OpenAI nicht ehrlich ist“

Walter Isaacson: Dario, Sie waren Zeuge eines der wichtigsten Meilensteine in der modernen Technikgeschichte – der Geburt von GPT-1 und GPT-2, die viele Menschen überrascht hat, vielleicht sogar Sie selbst. Damals waren Sie Vizepräsident für Forschung bei Open