KI-Giganten warnen: KI-Systeme schreiten rasant voran und könnten bald in der Lage sein, sich selbst zu verbessern

Das amerikanische Künstliche-Intelligenz-Unternehmen Anthropic ruft die weltweit führenden KI-Labore auf, über eine Verlangsamung des Entwicklungsgeschwindigkeits zu nachdenken. Der Grund dafür ist, dass KI-Systeme so rasant fortschreiten, dass sie möglicherweise bald in der Lage sein werden, sich ohne menschliche Intervention selbst zu verbessern, was ein erhebliches Risiko für die Gesellschaft darstellt.

Das Unternehmen hat am Donnerstag in einem Blogbeitrag interne Daten über die Geschwindigkeit der Verbesserung der Modellfähigkeiten offen gelegt und erklärt, dass es "vielleicht etwas sein könnte, das der ganzen Welt zugute käme", wenn man die globale KI-Entwicklung verlangsamen könnte.

In diesem Artikel, der von dem Leiter der internen Forschung von Anthropic und dem Politikbeauftragten geschrieben wurde, wird darauf hingewiesen, dass der gegenwärtige Fortschritt von KI-Modellen scheinbar in Richtung "rekursiver Selbstverbesserung" geht - d. h., dass KI-Systeme in der Lage sind, sich ohne menschliche Intervention selbst zu verbessern. Einige Fachleute in der KI-Branche sehen diese Schwelle als potenzielles Warnsignal und als Punkt, an dem es zu großen gesellschaftlichen Unruhen kommen könnte.

"Wir glauben, es wäre gut, wenn die Welt die Möglichkeit hätte, die Entwicklung der Spitzen-KI zu verlangsamen oder vorübergehend anzuhalten, damit die sozialen Strukturen und die Forschung zur Konsistenz mit dem technologischen Fortschritt Schritt halten können." Der Artikel schlägt auch vor, ein globales Abkommen über die mögliche Verlangsamung der Entwicklung zu schließen und einen Mechanismus aufzubauen, um zu überprüfen, ob die Wettbewerber dem Abkommen folgen.

01

Anthropic hat kürzlich eine Finanzierungsrunde abgeschlossen und hat einen Schätzwert von fast einer Billion US-Dollar erreicht. Das Unternehmen hat auch vertrauliche Dokumente eingereicht, um den Prozess der öffentlichen Börsengenehmigung einzuleiten. Der Hersteller von ChatGPT, OpenAI, wird voraussichtlich ebenfalls bald IPO-Dokumente einreichen.

Seit seiner Gründung hat Anthropic "KI-Sicherheit" als Kerngedanke verfolgt. Aber seit langem gibt es Kritiker, die der Meinung sind, dass die politischen Forderungen des Unternehmens in Wirklichkeit dazu dienen, die Entwicklungsgeschwindigkeit der Wettbewerber durch Regulierungsmaßnahmen einzuschränken.

Der Risikokapitalist und informelle Berater von Trump, David Sacks, hat die Führung von Anthropic beschuldigt, eine "Regulierungsübernahmeagenda" zu verfolgen.

Andere sind der Meinung, dass die Warnungen von Anthropic vor dem gefährlichen Potenzial seiner eigenen Tools auch als Marketingmaßnahme angesehen werden können. Diese Skeptiker weisen darauf hin, dass die Entscheidung von Anthropic, die Veröffentlichung seines leistungsstarken Mythos-Modells einzuschränken, eine bequeme Art ist, die Fähigkeiten seines Produkts zu bewerben.

Die Führung von Anthropic hat jedoch erklärt, dass sie das Sicherheitsrisiko ernst nimmt und sich bemüht, mehr Diskussionen über die Risiken anzustoßen.

Der Professor an der Wharton School der Universität Pennsylvania, Ethan Mollick, hat kommentiert: "Der Artikel von Anthropic enthält sowohl Selbstreflexion als auch Marketingelemente. Wichtig ist jedoch, dass Anthropic aufrichtig seine Einschätzungen über die zukünftige KI-Entwicklung ausdrückt, und diese Einschätzungen sind es wert, beachtet zu werden."

Die Führung von Anthropic, einschließlich des CEOs Dario Amodei, hat seit Jahren vor den möglichen Gefahren der KI gewarnt und nach einer breiten gesellschaftlichen Zusammenarbeit zur Bewältigung dieser Risiken gesucht. Amodei hat einmal gesagt, dass die KI die Ungleichheit verschärfen und bis zu die Hälfte der Einstiegsstellen für Angestellte in der Büroarbeit eliminieren könnte.

Amodei hat auch gewarnt, dass er erwartet, dass in naher Zukunft leistungsstarke KI-Systeme auftauchen werden, die möglicherweise auf unvorhersehbare Weise destruktive Tendenzen entwickeln könnten.

02

Der Blogbeitrag vom Donnerstag behauptet auch, dass das Anthropic-Forschungszentrum mit anderen Institutionen zusammenarbeiten wird, um "die Systeme aufzubauen, die für eine vertrauenswürdige Verlangsamung oder Pause erforderlich sind".

Der Artikel sagt, dass eine Pause oder Verlangsamung nur dann sinnvoll ist, wenn sie weitgehend befolgt wird. Dies erfordert einen Überprüfungsmechanismus, um sicherzustellen, dass alle gestoppt haben. Das Unternehmen vergleicht dieses Problem mit einem Atomwaffenvertrag - aber es gibt zu, dass es schwieriger sein wird, Betrug zu verhindern.

Anthropic plant, in den nächsten Monaten Gespräche mit Politikern, Forschern und anderen Personen zu organisieren, um Fragen über die rekursive Selbstverbesserung und das Überprüfungssystem zu beantworten: "Das Fenster, um diese Fragen gemeinsam zu untersuchen, ist gekommen, und auch Personen außerhalb der KI-Unternehmen sollten an dieser Prüfung teilnehmen."

Dieser Artikel stammt aus dem WeChat-Account "Cailian Press", Autor: Niu Zhanlin, veröffentlicht von 36Kr mit Genehmigung.