Dialog mit Vitalik: Wie begann man mit der Reflexion über EA, nachdem man mehrere hundert Millionen US-Dollar gespendet hat?

Wie kann man mit begrenzten Mitteln mehr Menschen helfen? Der effektive Altruismus (Effective Altruism, kurz „EA“) geht von dieser einfachen Frage aus und drängt die Menschen, die Wirkung verschiedener Wohltätigkeitsprojekte zu vergleichen – angefangen von der Spende von Moskitonetzen zur Malariaprävention bis hin zur späteren Investition von Hunderten Millionen Dollar in die Erforschung der KI-Sicherheit.

Der Zusammenbruch von SBF und FTX hat diese Bewegung einst in eine Glaubwürdigkeitskrise gestürzt. Kürzlich haben die Rücktritte von KI-Forschern sowie Kontroversen um Sicherheitsbewertungsstellen und Spendennetzwerke die EA erneut in den Fokus gerückt. Wenn einige Menschen die Verhinderung einer KI-verursachten Vernichtung der Menschheit als die lohnendste Investitionsaufgabe ansehen, wie beeinflussen ihre Urteile die Forschungsrichtungen und die Mittelverteilung? Welche Interessen- und Machtfragen stecken dahinter?

Im ersten Teil dieser Folge haben wir durch die Perspektive der Technikjournalistin Afra erfahren, wie die EA aus einer Bewegung zur Diskussion „Wie man Gutes effektiver tut“ hervorging und allmählich die heutige KI-Forschung, den Geldfluss und sogar politische Agenden beeinflusste. Dass diese Ideen die heutige Wirkung entfalten können, hängt von der Unterstützung riesiger Geldsummen im Hintergrund ab.

Daher haben wir im zweiten Teil der Folge einen der wichtigsten Spender interviewt – Vitalik Buterin, Mitbegründer von Ethereum. Er hat 2021 eine Reihe von Kryptowährungen an mehrere Wohltätigkeitsorganisationen gespendet, die für Pandemiehilfe, globale Gesundheit, wissenschaftliche Forschung und andere Bereiche verwendet wurden. Der Teil, der an das Future of Life Institute (FLI) gespendet wurde, wurde laut seiner Erinnerung auf etwa 400 bis 600 Millionen US-Dollar eingelöst. Das FLI hat ausdrücklich bestätigt, dass Vitalik der größte Spender der Einrichtung bislang ist. Später änderte sich der Fokus des FLI jedoch: Es wandte sich von der Erforschung aller Bereiche, die die existenzielle Gefahr für die Menschheit darstellen, ab und setzte voll auf die KI-Sicherheit, wobei es zunehmend zu politischen Maßnahmen überging.

Vitalik erzählte uns in der Sendung, dass er versucht habe, mit dem FLI zu kommunizieren und die Einrichtung gebeten habe, ihren Fokus zu erweitern, aber das FLI lehnte ab – das war der Ausgangspunkt ihrer Meinungsverschiedenheit. Seiner Ansicht nach funktioniert die Idee der EA sehr gut im Bereich des Kampfes des Menschen gegen die Natur (man v.s nature), aber wenn sie in den Bereich des Spiels des Menschen gegen den Menschen (man v.s man) eintritt, wird die Situation viel komplexer.

Vitalik ist der Meinung, dass es noch große Unsicherheiten gibt, ob KI das Risiko einer Vernichtung der Menschheit birgt; Menschen mit unterschiedlichen Standpunkten stellen die Sicherheitsphilosophie von Anthropic auf unterschiedliche Weise in Frage, und selbst innerhalb der EA gibt es zwei Gruppen von Befürwortern und Gegnern von Anthropic. Angesichts des technologischen Fortschritts und verschiedener unbekannter Risiken hat er eine Idee des d/acc (defensiver Beschleunigismus) entwickelt, die dafür eintritt, vorrangig Technologien zu entwickeln, die Menschen schützen und Macht verteilen, wie zum Beispiel Cybersicherheit, Impfstoffe und Luftfilter, um die Widerstandsfähigkeit der Gesellschaft gegen Risiken zu erhöhen.

Im Folgenden finden Sie eine Auswahl des Inhalts dieses Gesprächs:

01

Vitalik über KI-Risiken:

Es gibt noch zu viele ungewisse Punkte, ob sie eintreten

Yiwen: Aus welchem Grund hast du zum ersten Mal mit der EA in Kontakt gekommen? Was hat dich damals angezogen?

Vitalik: Ich habe die beiden Konzepte des Rationalismus und der EA wahrscheinlich zwischen 2013 und 2015 zum ersten Mal gehört, damals waren beide noch sehr früh. Eliezer Yudkowsky gehörte zur rationalistischen Seite, er hatte einen Blog namens LessWrong, in dem er sehr viele Artikel mit dem Titel „The Sequences“ schrieb. Sie diskutierten über alle interessanten Themen wie Physik, Moral und so weiter.

Die Gruppe der effektiven Altruisten sagte: Tatsächlich ist der Zweck der meisten Wohltätigkeit, die wir Menschen leisten, sehr gut und unser Herz ist sehr gut, aber die meisten von ihnen sind sehr ineffizient. Damals diskutierten sie viel über Gesundheitsthemen in Afrika. Sie haben eine sehr bekannte Statistik: Wenn du mit 2000 US-Dollar (damaligem Wert) Menschen in sehr armen afrikanischen Ländern Moskitonetze kaufst, kannst du viele Menschen vor Malaria schützen. Mit jedem 2000 US-Dollar, die du zahlst, rettest du das Leben eines Menschen.

Wenn das wirklich so ist, muss ich auch mein eigenes Geld an solche Stellen ausgeben. Zwischen 2016 und 2017 stieg der Wert von Ether um das Zehnfache, also habe ich einen kleinen Teil meiner Ether verkauft und an diese Organisationen gespendet.

Mit Insektiziden behandelte Moskitonetze sind eines der wirksamsten Interventionsmittel zur weltweiten Malariabekämpfung und das Kennzeichen der „Moskitonetz-Phase“ der EA. Bildquelle: President's Malaria Initiative (gemeinfrei)

Yiwen: Wie hast du damals über KI-Sicherheit nachgedacht, als du angefangen hast, dich für die EA zu interessieren? Wie tief haben die Organisationen, denen du damals gespendet hast und mit denen du Kontakt aufgenommen hast, sich mit KI-Sicherheit beschäftigt?

Vitalik: Damals waren meine Gedanken zur KI-Sicherheit noch sehr abstrakt. Ich wusste, dass KI theoretisch ein sehr wichtiges Thema ist, dass das, was sie sagten, wahr sein könnte und dass die Sicherheit von KI über das zukünftige Schicksal der Menschheit entscheiden könnte. Aber egal, ob diese Wahrscheinlichkeit 100 % oder 0,1 % beträgt, damals gab es sehr, sehr wenige Menschen, die über diese Themen nachdachten und sie erforschten.

2015 existierte die KI, über die wir heute sprechen, fast gar nicht. Die sogenannte KI, über die wir uns 2018 Sorgen machten, waren wahrscheinlich Kameras und digitale Überwachung mit KI-Unterstützung. Zwischen 2020 und 2023 änderte sich sehr viel, als GPT-3 erschien, und KI wurde zu einem echten Thema. Als ChatGPT herauskam, begannen wir zu verstehen: Die KI könnte sich wirklich sehr, sehr schnell entwickeln und uns sehr viele Veränderungen bringen.

Vor 2022 war die einzige Antwort, dass je mehr wir die Forschung fördern und die Menschheit mehr weiß, desto besser für uns ist. Aber nach 2022 änderte sich das – es wandelte sich von einem abstrakten zu einem konkreten Thema.

Hongjun: Machst du dir Sorgen um die Sicherheit von KI?

Vitalik: Die Leute fragen mich nach P(doom) – der Wahrscheinlichkeit des Aussterbens der Menschheit, also der Wahrscheinlichkeit, dass KI oder andere Risiken unsere Welt vollständig zerstören und die Menschen nicht mehr existieren. Ich sage 0,1. Warum sage ich 0,1? Warum nicht 0,03? Warum nicht 0,3? Tatsächlich ist es sehr schwierig, genauer zu sein, weil ich von Anfang an eine sehr große Unsicherheit habe und sehr viele ungewisse Punkte existieren.

Erstens: Wie schnell wird sich die KI entwickeln? Es könnte 10 Jahre dauern, bis die sogenannte AGI erreicht wird, von der alle sprechen, aber auch 300 Jahre.

Zweitens: Ist das Alignment-Problem (Ausrichtungsproblem), von dem Yudkowsky spricht, wirklich ein echtes Problem? Wird dieses Problem vielleicht ganz einfach von selbst gelöst? Zum Beispiel: Wenn wir damals eine sehr kluge KI bauen und ihr sagen, dass wir eine Welt ohne Krebs wollen, könnte die KI denken, dass der einfachste Weg darin besteht, die ganze Welt zu zerstören und alle Menschen zu töten. Aber wenn du heute mit Claude, GPT und moderner KI sprichst, merkst du, dass die heutige KI den Kontext besser versteht und unsere Bedeutung erfasst – das ist eine Veränderung, die vor 10 Jahren schwer vorherzusagen war.

Aber das bedeutet nicht unbedingt, dass das Alignment-Problem kein sehr großes Problem ist. Wenn du Yudkowsky jetzt fragst: Sieh dir die heutige KI an, wenn du ihr sagst, Krebs zu heilen, wird sie nicht die ganze Welt zerstören – ist das Alignment-Problem also gelöst? Er wird sagen: Nein. Dieses Problem ist nur ein kleiner Teil des Alignment-Problems, es gibt noch viele andere Teile und viele Risiken, die wir überhaupt nicht gelöst haben und von denen wir gar nichts wissen. Auch hier gibt es sehr viele Unsicherheiten.

Drittens gibt es politische Unsicherheiten. Denn heute entwickeln verschiedene Länder, verschiedene Menschen und verschiedene Unternehmen KI. In einer Wettbewerbssituation haben alle unterschiedliche Ziele, alle wollen gleichzeitig Sicherheit und alle wollen selbst gewinnen. Wenn zum Beispiel die KI sehr gefährlich wird und gleichzeitig der Dritte Weltkrieg ausbricht, ist das Gefährlichste möglicherweise kein technisches Problem, sondern dass die Menschen in dieser Zeit am wenigsten über Sicherheit nachdenken und nur denken: „Es ist am wichtigsten, selbst zu gewinnen“.

Also multiplizieren sich die technische Unsicherheit, eine weitere technische Unsicherheit, die politische Unsicherheit und noch viel mehr Faktoren. Es ist sehr schwer vorherzusagen, ob KI für uns wirklich gefährlich wird.

02

Vitaliks Spenden:

Dogecoin, Pandemie und Meinungsverschiedenheiten

Hongjun: Ich habe bemerkt, dass du am 12. Mai 2021 wahrscheinlich gleichzeitig sehr viele EA-Organisationen gespendet hast; 2017 hast du Organisationen wie das Machine Intelligence Research Institute (MIRI) gespendet, das Yudkowsky damals gegründet hat. Kannst du erzählen, was du damals gedacht hast, als du an diesem Tag 2021 viele Organisationen gespendet hast? Wie hast du die Entscheidung zur Spende getroffen?

Vitalik: Diese Geschichte ist sehr unterhaltsam. 2020 war Dogecoin sehr erfolgreich, alle fingen an, ihre eigenen Dogecoins herauszugeben, und die größte davon war Shiba Inu (SHIB).

Das offizielle Logo von Shiba Inu SHIB, das im August 2020 entstand, hat eine Gesamtausgabe von 1000 Billionen. Anfang Mai 2021 führte der starke Preisanstieg von Shiba Inu zu großer Aufmerksamkeit auf dem Markt. Bildquelle: shib.io

Sie haben auch etwas sehr Lustiges getan: Sie haben die Hälfte des Angebots ihrer Coins in meine Wallet gelegt. Damals war noch Pandemie, also habe ich lange Zeit gar nichts getan. Aber eines Tages stellte ich fest, dass der Marktwert dieser Coins tatsächlich 8 Milliarden US-Dollar erreicht hatte – das war wirklich sehr, sehr übertrieben. Also habe ich entschieden: Na gut, ihr Marktwert könnte innerhalb einer Woche so hoch steigen, aber vielleicht platzt die Blase eine Woche später und sie sinken wieder stark.

Ich habe sehr viele komplexe Arbeiten erledigt, um diese Dogecoins herauszuholen. Zuerst habe ich sie schnell in Ether verkauft, und ich habe ungefähr 70 Millionen US-Dollar an Ether verdient. Den größten Teil habe ich an die Against Malaria Foundation gespendet, die Organisation, die Moskitonetze kauft. Dieses Geld war wahrscheinlich das meiste, was ich aufbringen konnte, also sollte es an eine sichere, unumstrittene Organisation gehen. Ich habe auch einige andere Organisationen im Bereich der Langlebigkeitsgesundheit unterstützt.

Weil meine Markttiefe nicht ausreichte und die Liquidität nicht ausreichte, um so viele Dogecoins zu verkaufen, blieben nach dem Umtausch in Ether noch sehr viele Dogecoins übrig. Also habe ich entschieden: Na gut, vielleicht fallen diese Coins jetzt schnell und stark, ich spende die restlichen Coins an andere Organisationen, die ich für gut halte. Wenn sie sie selbst verkaufen und ein bisschen Geld bekommen, ist das gut. In meinen Gedanken konnten sie höchstens über 20 Millionen US-Dollar bekommen.

Also habe ich die Hälfte an CryptoCOVID Relief gespendet, eine indische Organisation zur Bekämpfung von COVID, und die andere Hälfte an das FLI (Future of Life Institute). Damals war das FLI eine Organisation, die alle existenziellen Risiken erforschte und zu bekämpfen begann, die die Menschheit beenden könnten. Sie erforschten jede große Risikoart, zum Beispiel biologische Risiken, KI-bezogene Risiken, Risiken durch Atomkriege. Sie stellten mir einen ihrer Pläne vor und sagten mir, dass sie theoretisch maximal 100 Millionen US-Dollar erreichen könnten, aber mit 20 Millionen könnten sie auch sehr viel tun. Also sagte ich: Na gut, ich gebe euch meine Shiba-Inu-Coins.

Drei Monate später stellte ich fest, dass diese Dogecoins nicht gefallen sind. Die erste Organisation, CryptoCOVID Relief, hat alle diese Coins verkauft und 470 Millionen US-Dollar erhalten. Ich weiß nicht genau, wie viel das FLI bekommen hat – vielleicht 400 Millionen, vielleicht 600 Millionen.

Das hat meine Vorstellung völlig übertroffen. Wenn ich dieses Ergebnis vorhergesehen hätte, hätte ich etwas ganz anderes getan. Also habe ich im nächsten Jahr mit Sandeep von der CryptoCOVID-Organisation gesprochen, ihn überzeugt, die Hälfte seines Geldes an mich zurückzugeben, und dann haben wir selbst einige Arbeiten zur Pandemiebekämpfung begonnen, einschließlich der Erforschung von Filtern, ultraviolettem Licht, Masken und Langem COVID. Wir haben einige Open-Source-Impfstoffunternehmen gespendet, eines ist RADVAC (ein Open-Source-Nasenspray-Impfstoffprojekt), das andere ist PopVax (ein indisches Biotechnologieunternehmen).

Anfang 2022 dachten alle, dass COVID vorbei ist, also begannen wir, alle durch Luft übertragenen Krankheiten zu bekämpfen. Wir haben mit 200 Millionen US-Dollar sehr viel getan. Sandeep hat mit seinen 270 Millionen US-Dollar die gesamte medizinische Herstellungskapazität Indiens verbessert.

Ungefähr zu dieser Zeit, nachdem GPT-3 erschienen war, gab es eine sehr große Veränderung in den Ideen des FLI. Erstens wandten sie sich von der Sorge um alle existenziellen Risiken ab und konzentrierten sich nur noch auf KI; zweitens wechselten sie von einer