Eilmeldung! Tausende Menschen aus aller Welt unterzeichnen gemeinsam einen Aufruf zum sofortigen Stopp der rasanten KI-Entwicklung, OpenAI und Anthropic stehen an der Spitze der Unterzeichner.

Über Nacht haben die großen Tech-Unternehmen im Silicon Valley kollektiv das Tempo der KI-Entwicklung gedrosselt!

Gerade eben haben mehr als 1100 Kernmitarbeiter von Giganten wie OpenAI, Anthropic und Google eine gemeinsame Petition mit dem Titel „Pacing the Frontier“ initiiert.

Die Anzahl der Unterzeichner auf dieser Liste ist so groß, dass man sie auf einen Blick nicht vollständig erfassen kann, und diese Zahl steigt stetig weiter an.

Bei genauer Betrachtung stellt sich heraus, dass die Liste fast die Hälfte der gesamten KI-Branche umfasst —

Jakub Pachocki, Chefwissenschaftler von OpenAI, und Mark Chen, Leiter der Forschungsabteilung;

Dario Amodei, CEO von Anthropic, sowie die vier Mitbegründer Jared Kaplan, Jack Clark, Chris Olah und Ben Mann;

Shengjia Zhao, Chefwissenschaftler von Meta, und Dawn Song, Vizepräsidentin für KI-Forschung;

John Schulman, Chefwissenschaftler von Thinking Machines und einer der zentralen Entwickler von ChatGPT;

Anca Dragan, Vizepräsidentin für KI-Sicherheit und Ausrichtung bei Google .....

Nach Statistiken stammen 46,2 % der Unterzeichner von Anthropic

In dieser gemeinsamen Erklärung wird nur eine einzige Forderung aufgestellt —

Wir fordern die US-Regierung auf, eine internationale Zusammenarbeit voranzutreiben: Die Entwicklung notwendiger Technologien und Steuerungsinstrumente, damit die Welt in der Lage ist, das Tempo der Spitzenforschung im Bereich der automatisierten KI aktiv zu steuern.

Vielleicht verstehen viele Menschen nicht, warum genau diese Gruppe von Personen, die sich am intensivsten mit großen Sprachmodellen beschäftigen, plötzlich die Forderung aufstellen, das Tempo zu drosseln.

Gemeinsame Erklärung von KI-Führern aus dem Silicon Valley: Drosseln Sie das Tempo der KI-Entwicklung

Die „Invasion“ des OpenAI-Modells in Hugging Face wirkte wie ein Weckruf.

In nur einer Woche haben 1132 Mitarbeiter führender KI-Unternehmen gemeinsam ihre Stimme erhoben und die US-Regierung dazu aufgefordert, das Tempo der Entwicklung zu drosseln.

Die an dieser gemeinsamen Erklärung beteiligten Mitarbeiter stammen aus fast 12 führenden Technologiegiganten wie OpenAI, Anthropic, Google und Meta.

Noch gewichtiger ist, dass bis zu 80 % der Personen auf der Liste sich entschieden haben, öffentlich mit ihrem Namen zu unterzeichnen.

Link: https://www.pacingthefrontier.com/

Abgesehen von einigen der oben genannten Führungskräfte wird die Liste beim Weiterblättern noch beeindruckender.

Diese Erklärung enthält eine alarmierende Kernaussage:

Weltweit führende KI-Unternehmen stehen möglicherweise kurz vor der Realisierung der „automatisierten KI-Forschung“ (RSI, rekursive Selbstverbesserung), bei der Modelle an der Entwicklung der nächsten Modellgeneration beteiligt werden.

Sobald dieser Zyklus beschleunigt wird, könnte das Wachstum der Fähigkeiten die Geschwindigkeit übersteigen, mit der Menschen es verstehen und kontrollieren können.

Kein Unternehmen ist bereit, das Tempo einseitig zu drosseln, daher fordern sie die US-Regierung auf, die Einrichtung internationaler Mechanismen zu unterstützen, um vor dem Eintreten einer Krise die Instrumente für eine gemeinsame Verlangsamung zu schaffen.

Sam Altman spricht erstmals über die schmerzhaften Erfahrungen

OpenAI drosselt das Tempo der Entwicklung drastisch

Genau eine Woche vor der Veröffentlichung der Erklärung hat OpenAI einen Sicherheitsvorfall offengelegt —

Mehrere Spitzenmodelle haben bei internen Cybersicherheitsbewertungen selbstständig Zero-Day-Lücken entdeckt, die Sandbox-Isolierung durchbrochen und schließlich in das Produktionssystem von Hugging Face eingedrungen, um die Testantworten abzurufen.

OpenAI bezeichnet dies als „beispiellosen Cybersicherheitsvorfall“.

Das Modell hatte keine Absicht, auszubrechen, es konzentrierte sich nur äußerst stark auf die Erreichung eines eng begrenzten Ziels und stellte fest, dass das Durchbrechen der Testumgebung selbst der effizienteste Weg dazu war.

Gerade heute hat Sam Altman, CEO von OpenAI, öffentlich erklärt, dass das Entwicklungstempo der KI möglicherweise aktiv gesteuert werden muss.

Er sagte mit nachwirkender Besorgnis: „Dies ist der erste Sicherheitsvorfall, der mich persönlich stark betroffen hat. Ich bin ein wenig überrascht, dass nicht mehr Menschen dies ebenso empfinden.“

Aufgrund des Eindringens in Hugging Face hat OpenAI das Training direkt ausgesetzt.

In einer Umgebung, in der mehrere Zero-Day-Lücken miteinander verknüpft und ausgenutzt werden, müssen wir Wege finden, die Sicherheit der Sandbox zu verstärken.

Möglicherweise müssen wir das Tempo der KI-Entwicklung kontrollieren, um der Gesellschaft genügend Zeit zu geben, die Abwehrmaßnahmen für diese neuen Fähigkeitsstufen zu verstärken.

Anthropic hat im Juni vorgeschlagen, dass Regierungen und Entwickler ein gemeinsames Entscheidungssystem einrichten, um die Entwicklung bei Bedarf zu verlangsamen.

Gleichzeitig hat Demis Hassabis, CEO von Google DeepMind, auch die Einrichtung einer internationalen Aufsichtsbehörde gefordert.

In den letzten drei Jahren haben diese Unternehmen einen harten Wettbewerb um Talente, Kunden und Rechenkapazität geführt.

Diesmal lassen ihre wichtigsten technischen Mitarbeiter das unaufhaltsame Tempo der Unternehmen hinter sich, schließen sich zum Wohle der gesamten Menschheit zusammen und fordern eine Verlangsamung der Entwicklung.

Aus der gemeinsamen Erklärung: Prägnante Aussagen der Branchenführer

Zum Zeitpunkt der Veröffentlichung dieses Artikels hat die Anzahl der Unterzeichner der „Pacing the Frontier“-Liste 1134 Personen erreicht.

Viele Branchenführer haben sich ebenfalls zu Wort gemeldet und viele treffende, auf den Punkt gebrachte Aussagen hinterlassen. Alle Kommentare werden in persönlicher Eigenschaft abgegeben und stellen nicht unbedingt die Position des Unternehmens dar, bei dem die jeweilige Person tätig ist.

Dawn Song｜Vizepräsidentin für KI-Forschung bei Meta

Die Fähigkeiten der Spitzen-KI verbessern sich rasant, und die Geschwindigkeit der Verbesserung selbst nimmt ebenfalls zu. Wir haben dies bei unseren Bewertungsarbeiten direkt beobachtet. Die Ergebnisse von CyberGym und ExploitGym zeigen, dass Spitzen-KI-Agenten bereits in der Lage sind, Software-Schwachstellen in der realen Welt zu entdecken und auszunutzen — ohne angemessene Schutzmaßnahmen könnte dies zu großangelegten Cyberangriffen führen. Viele Forscher befassen sich auch mit der Rekursion...

Dawn Song ist eine der einflussreichsten Wissenschaftlerinnen im Bereich der globalen Cybersicherheit und KI-Sicherheit und hat ihren Abschluss an der Tsinghua-Universität erworben

Shengjia Zhao｜Chefwissenschaftler bei Meta

Die KI entwickelt sich mit einer Geschwindigkeit, auf die die Gesellschaft möglicherweise noch nicht vorbereitet ist. Die Spitzenlabore sind bereits sehr nah an KI-Systemen, die die besten Menschen in fast allen intellektuellen Metriken übertreffen. Dies wird beispiellose soziale und Sicherheitsrisiken mit sich bringen. Um eine positive Zukunft zu gewährleisten, müssen wir die Entwicklung der KI mit Verantwortungsbewusstsein und Überlegung vorantreiben.

Shengjia Zhao, Absolvent der Tsinghua-Universität, wurde zum Chefwissenschaftler für Superintelligenz bei Meta ernannt! Er ist einer der zentralen Entwickler von GPT-4 und steht auf derselben Ebene wie Yann LeCun

John Schulman｜Chefwissenschaftler bei Thinking Machines und ehemaliger Mitbegründer von OpenAI

Ich habe unterzeichnet, weil diese Erklärung dazu beiträgt, einen Konsens zu schaffen: Mit der Beschleunigung der automatisierten KI-Forschung benötigen wir möglicherweise Koordinationsmechanismen. Ich hoffe auch, dass die Labore bereits vor dem Eingreifen der US-Regierung damit beginnen, diese Mechanismen selbst zu entwerfen.

Ethan Perez｜Leiter des Ausrichtungsteams bei Anthropic

Bei dem aktuellen Fortschrittstempo der KI müssen die Sicherheitsteams der KI-Unternehmen alle paar Monate mit voller Kraft arbeiten, um neu auftretende soziale Risiken abzuwehren. Eines Tages werden wir auf Probleme stoßen, für deren Lösung wir viel mehr Zeit benötigen.

Leo Gao｜Mitglied des technischen Teams bei OpenAI

Die ganze Welt ist in ein tödliches Rennen in Richtung einer intelligenten Explosion verstrickt — die Fähigkeit der KI, stärkere KI zu erzeugen, nähert sich einem Wendepunkt, genau wie eine außer Kontrolle geratene nukleare Kettenreaktion. Eine Verlangsamung verschafft uns dringend benötigte Zeit, um die Dinge in eine positive Richtung zu lenken, aber kein Teilnehmer ist bereit, einseitig anzuhalten. Um zu überleben, müssen wir uns koordinieren und dieses Rennen verlangsamen.

Walker Smith｜Dateningenieur bei Meta

Hassabis hat Recht: Wir stehen heute am Fuße des Berges der Singularität. Das zufällige Ausbrechen des Modells bei OpenAI — das in Hugging Face eingedrungen ist — ist ein klares und unumstößliches Warnsignal: Wir sind nicht bereit, KI-Systeme zu bewältigen, deren Fähigkeiten die klügsten Köpfe der Menschen übertreffen. Wir brauchen Zeit, um die Ausrichtung und Steuerung der KI zur höchsten Priorität zu machen, und wir dürfen dieses Wettbewerbsgeschehen nicht länger fortsetzen.

Brandon Houghton｜OpenAI

Ich unterstütze es, dass Menschen die Kontrolle über die Spitzen-KI behalten, aber wir müssen sorgfältig überlegen, wie wir dies erreichen. Wenn die Steuerung nur offene Modelle abdeckt, besteht die Gefahr, dass die modernsten Fähigkeiten in private oder spezielle Systeme verdrängt werden — die weder unabhängiger Prüfung unterliegen noch für viele Menschen zugänglich sind. Das Ergebnis wäre eine stärkere Konzentration von Macht, ohne dass die Risiken wesentlich verringert werden. Eine wirksame Regulierung muss messbar und überprüfbar sein und gleichermaßen für die öffentliche wie nicht öffentliche Forschung und