Die philosophischen Konzepte hinter der KI-Sicherheit: Wie beeinflusst effektiver Altruismus das Silicon Valley?
In dem kürzlich eingereichten Börsenprospekt hat Anthropic fast 100 Seiten mit Risikofaktoren offengelegt. Neben den üblichen Finanz- und Marktrisiken enthält er auch Formulierungen über die katastrophalen, sogar das Überleben der Menschheit bedrohenden Risiken, die von der Spitzen-KI ausgehen. Anthropic erklärte, dass sie selbst nicht garantieren können, dass ihre Sicherheitsmaßnahmen unbedingt wirksam sind.
Der Prospekt enthüllte zudem, dass nach dem Börsengang die sieben Mitbegründer über spezielle Aktien 50,1 % der Stimmrechte bei allgemeinen Abstimmungsangelegenheiten kontrollieren werden; gleichzeitig gibt es eine Einrichtung namens „Langfristiger Interessentreuhand“, die das Recht hat, die Mehrheit der Mitglieder des Aufsichtsrats zu wählen. Das Ziel dieser Regelung ist es, das Unternehmen dazu zu bringen, bei der Verfolgung kommerzieller Interessen auch die langfristigen Interessen der Menschheit zu berücksichtigen. Einige Medien haben jedoch ein Detail bemerkt: Die Gründer können im Voraus festlegen, wer ihre Stimmrechte übernimmt, sobald sie nicht mehr in der Lage sind, ihre Pflichten zu erfüllen. Diese Kandidaten müssen intern genehmigt werden, aber die Liste ist geheim. Das heißt, die Öffentlichkeit weiß derzeit nicht, wer künftig an den Entscheidungen von Anthropic beteiligt sein könnte.
Dieser Prospekt zeigt der Öffentlichkeit erneut, wie wichtig KI-Sicherheit für das Unternehmen Anthropic ist. Gleichzeitig stellt sich aber die Frage: Wenn ihre Warnungen wahr werden, sollten wir als Öffentlichkeit nicht das Recht haben zu wissen, wer im Namen der Menschheit Entscheidungen treffen darf?
Um die Bedeutung zu verstehen, die Anthropic der Sicherheit beimisst, sowie die Vertrauens- und Machtstreitigkeiten, die es umgeben, muss auf ein Konzept verwiesen werden, das in letzter Zeit immer wieder auftaucht – nämlich Effektiver Altruismus (Effective Altruism), abgekürzt EA.
Diesen Monat hat „The Economist“ EA auf das Titelblatt gesetzt und es als „die wichtigste Idee dieses Jahrhunderts“ bezeichnet. Einige Berichte weisen darauf hin, dass die Befürworter von EA im Zusammenhang mit der KI-Sicherheitspolitik mit dem technologischen Flügel der Rechten, den wir in unserem Podcast erwähnt haben, in Konflikt geraten sind. Sogar die Trump-Regierung hat sich in die Debatte eingemischt – das US-Verteidigungsministerium hat in den sozialen Medien direkt einen Slogan ausgegeben: „Amerikanismus, nicht Effektiver Altruismus“. Ein Konzept, das eigentlich noch zu philosophischen Diskussionen zu gehören schien, ist so zum Objekt der offenen Abgrenzung durch die US-Regierung geworden.
In dieser Folge von „Silicon Valley 101“ haben wir eine Person eingeladen, die eng mit dem EA-Kreis verbunden ist: Vitalik Buterin, Gründer von Ethereum, und seine Freundin, die Technikjournalistin Afra. Im Folgenden der erste Teil des Interviews, in dem Afra die vier Phasen der Entwicklung des Effektiven Altruismus vorstellt; die Geschichte seines geistigen Anführers Will MacAskill; die Unterschiede zwischen EA und Rationalismus sowie e/acc (Effektiver Beschleunigungsismus) in Bezug auf Gemeinschaftsgeist und Handlungsfähigkeit; und wie EA die Erzählung über KI-Sicherheit dominiert und die klügsten Köpfe des Silicon Valley Schritt für Schritt in seinen Bann gezogen hat.
Hier ist eine Auswahl des Gesprächs:
Die vier Phasen von EA: Von der Moskitonetz-Ära zur Ära der KI-Sicherheit
Yiwen: Was sind Ihrer Meinung nach insgesamt die Themen, auf die sich EA besonders konzentriert?
Afra: Tatsächlich muss man die mehr als zehn Jahre, in denen EA die globale Landschaft beeinflusst, in ungefähr vier Phasen einteilen – in jeder Phase liegt der Schwerpunkt auf unterschiedlichen Dingen.
Die erste Phase ist die sogenannte „Moskitonetz-Ära“. In dieser Zeit nutzte man sehr detaillierte, quantifizierbare Beweise, um die Effizienz von Wohltätigkeit zu verbessern und beispielsweise globale Gesundheitsindizes zu beeinflussen. Das ist eine messbare Güte, die durch Beweise und Daten gestützt wird. Denn zu der Zeit, als EA gerade gegründet wurde, wollten viele Menschen Gutes tun und durch Wohltätigkeit spenden, aber die Effizienz der Wohltätigkeit war sehr gering – das gespendete Geld kam nicht dort an, wo es gebraucht wurde.
Aber die Leute von EA wollten mit einer quantifizierbaren, wissenschaftlichen Methode das Geld zielgerichtet einsetzen, um seinen Wert zu maximieren. Daher stammt der Name „Moskitonetz-Ära“ – das Moskitonetz ist die effektivste Methode, bei der man mit einem bestimmten Spendenbetrag eine bestimmte Anzahl von Leben retten kann.
Danach kam die nächste Phase von EA, die sogenannte „Phase der langfristigen Planung“. Diese Phase der langfristigen Planung fand um 2015 statt, als die Gruppe begann, überproportional an existenziellen Risiken und Fragen zukünftiger Generationen zu forschen, und Mittel sowie Institutionen begannen zu expandieren. Sie kümmerten sich nicht mehr darum, wie viele Menschen ein einzelnes Moskitonetz retten kann, sondern um die Lebensqualität und den Lebensstandard der zukünftigen Generationen der Menschheit über Tausende und Zehntausende von Jahren.
Daher flossen in dieser Phase große Mittel – auch von SBF und vielen anderen Millionären – in die Gemeinschaft. Ich denke, SBF ist vielleicht das extremste Symbol dieser Zeit, da er selbst ein Mensch ist, der sich sehr stark für Fragen des Long-Termismus (Langfristdenken) interessiert.
Ich habe einen Profilartikel über Will MacAskill in „The New Yorker“ gelesen. Nach der Lektüre bin ich zu dem Schluss gekommen: SBF war wahrscheinlich einer der entscheidenden Faktoren für die gesamte Hinwendung von EA zum Long-Termismus.
Als Nächstes kam die Ära des Zusammenbruchs des Rufs der gesamten Gemeinschaft. Es entstand eine große Vertrauenskrise, und die Menschen begannen darüber nachzudenken, was genau in der EA-Gruppe schiefgelaufen ist. Gleichzeitig wurde ChatGPT geboren, was einen Wendepunkt für die KI bedeutete – die KI-Risiken und Existenzfragen, über die zuvor die EA- und Rationalisten-Gruppen diskutiert hatten, wurden plötzlich zu Themen, die mehr Menschen beschäftigten.
Daher denke ich, dass diese Phase eine Phase mit vielen Rückschlägen, aber auch viel Öffentlichkeitswirkung ist. Zuerst wurden sehr viele Probleme aufgedeckt, zum Beispiel Will MacAskills Versagen bei der Einschätzung von Menschen – er wurde ständig von der Gemeinschaft kritisiert, weil er bis heute nicht genug über SBF reflektiert und ihn damals ständig beschützt hat.
Aber diese Periode war auch die Zeit, in der EA tatsächlich zu einer der einflussreichsten Denkströmungen des 21. Jahrhunderts wurde, wie „The Economist“ es formuliert hat.
Danach folgte die uns heute bekannte Ära der KI-Sicherheit. Ich denke, in dieser Ära der KI-Sicherheit hat die breite Öffentlichkeit den Begriff „Effektiver Altruismus“ kennengelernt, da KI-Sicherheit zu einem ihrer zentralen Themen wurde.
Im gesamten EA-Netzwerk sind zum einen viele Mitglieder als Mitarbeiter in Spitzenlabors eingetreten, zum anderen wurden große Summen zur Finanzierung der KI-Sicherheit bereitgestellt, sodass der gesamte EA-Kreis mit Politikkreisen, Kreisen der nationalen Sicherheit und den Kreisen in Washington zusammenkam. Das führte dazu, dass zum Beispiel Präsident Trump und das US-Verteidigungsministerium auf Twitter schrieben, dass „die USA sicherlich nicht zu EA werden“ usw.
Ich denke, die aktuelle Phase ist eine neue Phase von EA mit neuen Herausforderungen, aber sie ist auch die Zeit, in der EA am stärksten im öffentlichen Bewusstsein angekommen ist.
Im Herzen von EA und der Rationalisten-Gemeinschaft
Hongjun: Ich weiß nicht, ob Sie in letzter Zeit die Beziehungen zwischen Anthropic, einigen Sicherheitsaudit-Einrichtungen und EA beobachtet haben? Nachdem Jacob Coxon im September von Anthropic zurückgetreten ist, hat der unabhängige Forscher Kevin Bass auf X die Geldströme nachgezeichnet. Er untersuchte METR, die Einrichtung, die von Anthropic für unabhängige Sicherheitsaudits beauftragt wurde: Die Geldgeber von METR und einigen anderen Sicherheitseinrichtungen sind gleichzeitig frühe Investoren von Anthropic – Dustin Moskovitz, Gründer von Coefficient Giving, hält eine große Anzahl von Anthropic-Aktien. Diese sogenannte „unabhängige Bewertung“ ist also möglicherweise tatsächlich an die kommerziellen Interessen von Anthropic gebunden. Im Internet gibt es daher viele Stimmen, die EA anprangern, und viele Menschen beginnen, die Herkunft der Mittel aller Sicherheitseinrichtungen in Frage zu stellen. Was halten Sie von diesen Zweifeln?
Afra: Nachdem Jacobs Tweet viral ging, haben die Leute die gesamte Geldzufuhr von EA in die KI-Sicherheit aufgedeckt und angefangen, verschiedene Verschwörungstheorien zu erfinden. Für mich selbst ist das schon eine Verschwörungstheorie an sich.
Hongjun: Warum denken Sie, dass es eine Verschwörungstheorie ist?
Afra: Viele traditionelle Medien stellen die Frage: Welches Ziel und welche verborgene Agenda haben diese Gelder, die an diese Organisationen fließen? Ich denke, es wird immer eine Projektion einer bestimmten Agenda geben. Aber was ist die Agenda der EA-Leute? Sie wollen nicht, dass die KI unkontrollierbar wird und Folgen verursacht, die die Menschheit nicht ertragen kann. Das ist ihre Agenda, es gibt keine verborgene Agenda.
Kürzlich hat Kevin Roose, ehemaliger Reporter der „New York Times“ und Moderator des Podcasts Hard Fork, ein Buch namens „The AGI Chronicles“ geschrieben. Während der Arbeit erhielt er Geld aus Quellen mit EA-Hintergrund. Viele Menschen zweifelten daher an: Ist die Herkunft dieses Geldes nicht undurchsichtig? Wenn man Geld von EA nimmt, muss man dann ihre Agenda unbedingt in das Buch schreiben?
Aber ich denke, das größte Problem könnte sein: Wenn eine ideologische Bewegung über so viel Geld verfügt, entdeckt sie dann wirklich die wichtigsten Probleme – oder beginnt sie auch zu bestimmen, welche Probleme als wichtig angesehen werden.
Wir leben jetzt bereits mit diesen Folgen. Sie haben schon sehr früh gesagt, dass KI-Sicherheit wichtig ist und dass viel Geld darin investiert werden muss – wir leben jetzt unter diesem Einfluss. Ich habe einige traditionelle Think Tanks in Washington gesehen, die kaum qualifizierte KI-Politik-Analysten einstellen können, weil junge, fähige Talente in die von EA geförderten Think Tanks und Organisationen strömen.
Wenn Sie ein junger Forscher Anfang 20 sind, gerade die Schule abgeschlossen haben, einen PhD in Stanford haben und über KI-Wirtschaft forschen wollen, werden Sie feststellen, dass es im Bereich KI-Alignment und KI-Sicherheit eine große Anzahl von Forschungsplätzen, umfangreiche Forschungsförderung und viele Stellen mit gutem Jahresgehalt gibt. Diese Einrichtungen geben Ihnen einfach Geld, kümmern sich kaum um Ihre Forschungsrichtung und verlangen nicht, dass Sie Ihre Überzeugungen ändern. Andere Forschungseinrichtungen haben nicht so viele Ressourcen und nicht so viel Freiheit. Daher habe ich gesehen, dass immer mehr solche jungen Menschen von diesen sogenannten „EA-Einrichtungen“ im Zusammenhang mit KI-Sicherheit aufgenommen werden; und ich habe gesehen, dass immer mehr sehr kluge Menschen durch tägliche Treffen und Diskussionen mit diesen Leuten „safety-pilled“ (von der Idee der KI-Sicherheit überzeugt) werden.
Aber meiner Meinung nach ist es in der aktuellen Phase ganz normal, „safety-pilled“ zu werden. Selbst wenn Sie sich nicht so sehr für Fragen der KI-Sicherheit interessieren, werden Sie durch das Lesen gewöhnlicher Nachrichten und das Ansehen von Fernsehsendungen „safety-pilled“.
Hongjun: Ich weiß, dass Sie oft nach Berkeley gehen und einige EA-Organisationen in San Francisco besuchen – oder wie wir sie nennen, Rationalisten-Organisationen. Ich habe auch gehört, dass man in San Francisco, zum Beispiel bei der gerade erwähnten Einrichtung METR – wenn man an einigen Veranstaltungen teilnehmen will, wie Veranstaltungen von Anthropic oder Forschern, und sagt „Ich bin kein EA-Anhänger“, werden sie fragen: Ohne EA-Zugehörigkeit kommt man möglicherweise nicht zu vielen Veranstaltungen in San Francisco.
Afra: Ich finde EA auch sehr interessant. Wenn man einige Leute fragt „Bist du EA?“, antworten sie „Naja, ich bin kein EA, aber ich stehe den Leuten sehr nahe“. Keiner der EA-Leute redet ständig davon, dass er EA ist. Tatsächlich haben viele meiner EA-Freunde eine sehr starke EA-Einstellung, aber sie betrachten sich selbst nicht als EA-Mitglieder – das finde ich auch sehr interessant.
Hongjun: Wie ist die Atmosphäre in Berkeley? Ich denke, Berkeley neigt eher zu einer Rationalisten-Gemeinschaft. Ich kenne eine Organisation namens Lighthaven, wo sich die Leute oft treffen und Veranstaltungen abhalten – die Atmosphäre dort ist anders als in San Francisco.
Afra: Ja, ich denke, Berkeley hat mittlerweile ein eigenes System gebildet. In Berkeley gibt es sehr viele Drittprüfstellen für KI-Sicherheit oder Organisationen wie METR – ehrlich gesagt, es gibt bereits Dutzende davon. Lighthaven ist eigentlich ein Veranstaltungsort für Rationalisten und einige von EA geförderte Aktivitäten – es ist ein Veranstaltungscampus in Berkeley, der aus sechs bis sieben einzelnen Häusern besteht.
Dort kann man Vorträge hören, frei sozialisieren und abends am Lagerkessel Marshmallows rösten. Lighthaven gilt als das Hauptquartier für KI-Sicherheit, EA und Rationalismus.
Ich gehe gelegentlich selbst zu KI-bezogenen Sitzungen in Lighthaven, um Leute kennenzulernen. Vor zwei Wochen bin ich gerade von zwei Konferenzen zurückgekommen: Eine heißt The Curve, die andere Progress Conference.
Die eine ist eine Konferenz über die exponentielle, explosionsartige Entwicklung der KI, die eng mit Spitzen-KI-Forschung verbunden ist; die andere, die Progress Conference, setzt sich stärker für den Fortschritt der Gesellschaft ein, ähnlich wie Ezra Kleins Buch „Abundance“ (Fülle), das darum geht, wie man mit vorhandener Technologie eine wohlhabendere, zukunftsorientiertere Gesellschaft schaffen kann. Dort werden verschiedene Spitzenforschungen diskutiert, zum Beispiel wie man die nächste Generation erzieht und mehr Vertrauen in die Zukunft hat – solche Themen.
Hongjun: Glauben Sie, dass diese Diskussionen, zum Beispiel darüber, ob man die KI beschleunigen oder verlangsamen soll, einen starken Einfluss auf die tatsächlichen Entwicklungen haben?
Afra: Ich denke schon. Ich erinnere mich, dass bei der letztjährigen The Curve, der Konferenz über Spitzen-KI, viele Leute aus Washington und dem Kongress anwesend waren, ebenso viele Regierungsabgeordnete aus Kalifornien. Der Gruppeneffekt, den The Curve erzeugt, ist ziemlich offensichtlich – es ist das beste Venn-Diagramm (Schnittmenge) zwischen Washington und dem Silicon Valley. Daher verstehe ich ihren Einfluss.
Hongjun: Und was ist mit der Rationalisten-Gemeinschaft?
Afra: Ich denke, die Rationalisten-Gemeinschaft ist viel entspannter. Die Rationalisten wollen nicht so sehr nach Einfluss streben. Die Leute in der Rationalisten-Gemeinschaft sind also immer noch so wie früher: Sie schreiben Blogs und forschen an Dingen, die sie interessieren. Sie haben nicht so viel von dem, was man im Silicon Valley heute 4D Chess (Vier-dimensionales Schach) nennt – sie haben nicht so viele Überlegungen wie „Ich mache heute A, um B zu erreichen, und am