Sensationeller Bericht von DeepMind "KI in 2030": In fünf Jahren werden die KI-Kosten stark steigen, und Daten sind kein Engpass mehr.
Wichtige Punkte:
- Bis 2030 wird die Kosten für die AI-Trainierung auf mehrere hundert Milliarden Dollar geschätzt. Der Rechenleistungswunsch wird tausendfache von GPT-4 erreichen, und der Stromverbrauch wird Gigawatt-Niveau erreichen.
- Trotz der sechs Herausforderungen, wie Leistungsobergrenze, Datenknappheit, Stromversorgung, Kostendruck, Algorithmuseffizienz und Rechenressourcenverteilung, zeigt der aktuelle Trend, dass die Expansion der KI weiterhin andauern wird.
- In den vier Bereichen Softwareentwicklung, Mathematik, Molekularbiologie und Wettervorhersage wird die KI möglicherweise Brüche wie die Generierung von Code aus natürlicher Sprache, die Unterstützung bei mathematischen Beweisen, die Vorhersage von Proteinwechselwirkungen und die Verbesserung der Wettergenauigkeit erzielen. Es wird geschätzt, dass die wissenschaftliche Produktivität um 10 - 20 % gesteigert wird.
Wie wird die Künstliche Intelligenz (KI) bis 2030 aussehen? Das gemeinnützige KI-Forschungsinstitut Epoch AI hat auf Auftrag von Google DeepMind einen 119-seitigen Forschungsbericht mit dem Titel "AI in 2030" veröffentlicht, der diese Frage speziell beantwortet.
Der Bericht zeigt, dass, wenn der aktuelle Expansions-Trend der KI bis 2030 anhält, die globale Investition in KI mehrere hundert Milliarden Dollar betragen wird, und der benötigte Strom wird in Gigawatt berechnet. Diese Investitionen werden jedoch möglicherweise in hochwertigen Bereichen wie der Wissenschaft eine deutliche Produktivitätssteigerung bringen.
Der Rechenleistungsbedarf wird tausendfache von GPT-4 übersteigen! Die Trainingskosten werden mehrere hundert Milliarden Dollar betragen.
Epoch AI hat im Bericht die Kernfaktoren für die skalierte Entwicklung der KI detailliert analysiert: Rechenressourcen, Finanzinvestitionen, Datenvorräte, Hardwareinfrastruktur und Energieverbrauch, und hat die daraus resultierenden neuen KI-Fähigkeiten vorhergesagt, insbesondere im Bereich der wissenschaftlichen Forschung, der auch von führenden KI-Entwicklern besonders beachtet wird.
Epoch AI ist der Meinung, dass obwohl die Expansion der KI auf beispielloser Infrastrukturstützung beruht, der Skalisierungsprozess wahrscheinlich bis 2030 andauern wird und revolutionäre Veränderungen in der Wissenschaft und noch mehr Bereichen bringen wird.
Nach dem aktuellen Entwicklungstrajektorium werden die Spitzen-KI-Modelle bis 2030 mehrere hundert Milliarden Dollar kosten und Gigawatt-Niveau an Strom verbrauchen. Obwohl die Herausforderungen enorm sind, hält der Bericht, dass diese Hindernisse überwunden werden können. Solange die KI durch die Produktivitätssteigerung entsprechende wirtschaftliche Renditen erzielen kann, ist eine solche Investition sinnvoll. Wenn das Einnahmenwachstum der KI-Labore auf dem aktuellen Niveau bleibt, sind die Erträge auch ausreichend, um Investitionen im Milliarden-Dollar-Bereich zu finanzieren.
Abbildung: Die Vorabinvestitionen für die Anschaffung von KI-Clustern steigen jährlich um das 1,9 - fache. Superskalige Cluster im Wert von Milliarden von Dollar werden bereits gebaut.
Es wird geschätzt, dass die KI bis 2030 in der Lage sein wird, komplexe wissenschaftliche Software basierend auf natürlicher Sprache Anweisungen zu generieren, Mathematikern bei der Beweis von Intuitionshypothesen zu helfen und sogar offene Fragen in biologischen Experimenten genau zu beantworten.
Alle diese Schätzungen basieren auf der fortlaufenden Verbesserung der aktuellen KI-Benchmarks. Die relevanten Aufgaben werden wahrscheinlich bis 2030 bewältigt werden. Epoch AI prognostiziert, dass die KI-Fähigkeiten in mehreren wissenschaftlichen Bereichen grundlegende Veränderungen auslösen werden, aber die vollständige Implementierung und die volle Nutzung ihrer Effizienz werden möglicherweise erst nach 2030 erreicht werden.
Nach dem aktuellen Trend wird der Preis der Rechenleistungskluster für die Schulung von führender KI 2030 über 100 Milliarden Dollar betragen. Diese Cluster können eine Rechenleistung von bis zu 10^29 FLOP unterstützen, was äquivalent ist zu einer ununterbrochenen Laufzeit des größten globalen KI-Clusters im Jahr 2020 über 3000 Jahre. Die KI-Modelle, die auf dieser Grundlage trainiert werden, werden einen tausendfachen Rechenleistungsbedarf im Vergleich zu GPT-4 haben, und der benötigte Strom wird auch auf Gigawatt-Niveau steigen.
Abbildung: Seit 2010 hat die Trainingsrechenleistung bekannter KI-Modelle jährlich etwa um das 4 - bis 5 - fache zugenommen. Das gleiche gilt für führende Modelle.
Sechs Schlüsselfunde: Werden die Investoren entmutigt?
Obwohl die skalierte Entwicklung der KI viele Herausforderungen hat, hält Epoch AI, dass es sehr wahrscheinlich ist, dass der aktuelle Trend bis 2030 anhält. Der Bericht hat sechs potenzielle Engpässe systematisch bewertet und die folgenden Analysen vorgenommen:
1. Könnte die Modellleistung eine Obergrenze erreichen?
Es besteht tatsächlich die Möglichkeit, dass die Leistung von KI-Systemen aufgrund der Skalenerweiterung stagniert. Aus den jüngsten Brüchen in mehreren Benchmarks und der starken Zunahme der kommerziellen Einnahmen ist jedoch kein eindeutiges "Aufprall" - Zeichen zu beobachten. Das Modell verbessert sich weiterhin mit der Zunahme der Parameter und der Erweiterung des Trainings.
2. Wird die Trainingsdatenknappheit eintreten?
Es wird geschätzt, dass die von Menschen generierten Textdaten die Modellschulung bis etwa 2027 unterstützen können. Noch bemerkenswerter ist, dass die Technologie zur Generierung von synthetischen Daten immer reifer wird. Insbesondere nach der Entstehung von Inferenzmodellen wurde die Wirksamkeit der synthetischen Daten bestätigt. Obwohl der Datenengpass nicht vollständig ausgeschlossen werden kann, ist er keine grundlegende Einschränkung mehr.
Abbildung: Die Menge der Trainingsdaten für Sprachmodelle wächst jährlich um etwa das 2,7 - fache.
Abbildung: Der Vorrat an von Menschen generierten öffentlichen Texten ist sehr groß. Aber nach dem aktuellen Trend könnte die Trainingsausführung von führender KI die Daten bereits vor 2030 aufbrauchen, wenn die Modelle übermäßig trainiert werden.
3. Kann die Stromversorgung mitkommen?
Wenn die KI-Skalierung weiter fortschreitet, könnte der Strombedarf für die Schulung der Spitzen-KI-Modelle 2030 Gigawatt-Niveau erreichen. Obwohl die Herausforderung enorm ist, kann die Stromversorgung schnell durch Lösungen wie Solarenergie + Energiespeicherung und netzunabhängige Gaserzeugung bereitgestellt werden. Gleichzeitig hat die Spitzen-KI-Schulung begonnen, geografisch auf mehrere Rechenzentren zu verteilen, was dazu beiträgt, den lokalen Strombedarf zu entspannen. Es wird vorausgesagt, dass der Strom bis 2028 kein Hauptengpass sein wird und auch danach gelöst werden kann.
4. Werden die Investoren durch die hohen Kosten entmutigt?
Eine Investition von Milliarden von Dollar in die Schulung scheint erstaunlich, aber wenn die Einnahmen der KI-Unternehmen weiterhin mit der aktuellen Wachstumsrate steigen, werden sie diese Investitionen vollkommen decken können. Sobald die KI tatsächlich eine Produktivitätsrevolution erzielt, könnte der wirtschaftliche Wert, den sie bringt, selbst wenn sie nur in einigen Arbeitsabläufen eingesetzt wird, im Billionen-Dollar-Bereich liegen, was ausreichend ist, um die kontinuierlichen Investitionen zu unterstützen.
Abbildung: Große KI-Entwickler können bereits jährlich mehrere Milliarden Dollar an Einnahmen erzielen, und die jährliche Einnahmezunahme in den letzten Jahren lag bei etwa dem 2 - bis 3 - fachen. Wenn dieser Trend bis 2030 anhält, wird die Einnahme auf mehrere hundert Milliarden Dollar geschätzt.
5. Wird die Verbesserung der Algorithmuseffizienz den Rechenleistungswunsch verringern?
Obwohl die Optimierung der Algorithmen ständig fortschreitet, ist die Verbesserung bereits in die aktuelle Kurve des Rechenleistungswachstums einbezogen. Es gibt keine Anzeichen dafür, dass es einen plötzlichen Sprung in den Algorithmen geben wird. Darüber hinaus regt die Effizienzverbesserung oft eher den Wunsch nach größerer Rechenleistung an, anstatt ihn zu ersetzen.
6. Wird die Verteilung der Rechenressourcen zugunsten der Inferenz verschoben?
Derzeit besteht tatsächlich die Möglichkeit, dass KI-Unternehmen mehr Rechenressourcen auf die Inferenzphase der Modelle legen, z. B. um die tatsächliche Ausführung von verschiedenen Inferenzmodellen und Produktdiensten zu unterstützen. Nach der gegenwärtigen Situation ist die Verteilung der Rechenleistung zwischen Modellschulung und Inferenz jedoch noch relativ ausgeglichen.
Abbildung: Die Ausgaben und der Energieverbrauch von großen KI-Entwicklern für die Rechenressourcen zeigen, dass die Größenordnung der Trainingsrechenleistung und der Inferenzrechenleistung ungefähr gleich ist. Darüber hinaus wächst die insgesamt bereitgestellte KI-Rechenleistung etwa um das 2,3 - fache pro Jahr, was ähnlich wie der Wachstumstrend der Spitzen-KI-Trainingscluster ist.
Logisch gesehen sollten die Schulung und die Inferenz gemeinsam expandieren und synchron wachsen - denn fortschrittlichere Modelle werden normalerweise durch umfangreiche Schulung erzielt, und diese Modelle können auch höhere Wertschöpfung und kostengünstigere Inferenztasks unterstützen. Daher könnte der Anteil der Inferenz zwar steigen, aber es ist unwahrscheinlich, dass die für die Schulung benötigten Ressourcen darunter leiden.
Epoch AI betont daher, dass, wenn die technologische Entwicklung und das Investitionstempo dem aktuellen Pfad folgen, es auch möglich ist, dass die KI-Fähigkeiten entsprechende Sprünge machen, insbesondere in wichtigen Bereichen wie der wissenschaftlichen Forschung.
KI wird in der wissenschaftlichen Forschung ein "Superhelfer" werden, und die Produktivität könnte um 20 % steigen
Epoch AI hat im Bericht festgestellt, dass mehrere führende KI-Unternehmen die wissenschaftliche Forschung als Schwerpunktrichtung festgelegt haben und durch konkrete Beispiele analysiert, wie die KI die wissenschaftliche Produktivität tatsächlich verbessern kann.
Die Forschung zeigt, dass die KI in der wissenschaftlichen Forschung deutliche Brüche erzielen wird, insbesondere in Disziplinen wie der Softwareentwicklung und der Mathematik, die sich gut für die reine Computerschulung eignen. Nach dem Fortschritt der aktuellen Benchmarks wird die KI bis 2030 in der Lage sein, komplexe wissenschaftliche Software nach natürlicher Sprachbeschreibung zu generieren, Mathematikern bei formellen Beweisen zu helfen und sogar komplexe Fragen in biologischen Experimenten genau zu beantworten.
Epoch AI prognostiziert, dass in den meisten wissenschaftlichen Bereichen in Zukunft ähnliche KI-Assistenten wie die derzeit von Programmierern verwendeten Codierhilfen auftauchen werden. Obwohl die wissenschaftlichen KI-Assistenten mehr auf die Ordnung und Integration von massenhaften heterogenen Literaturen achten müssen, im Gegensatz zu den aktuellen Programmier-KI, die hauptsächlich auf einzelne Projekte beschränkt sind, werden sie dennoch drei Kernfunktionen ähnlich haben: die intelligente Empfehlung von Optionen basierend auf dem Kontext, die schnelle Suche nach relevanten Informationen und die unabhängige Erledigung kleinerer abgeschlossener Aufgaben.
Am Beispiel der Softwareentwicklung wird Epoch AI eine Produktivitätssteigerung von 10 - 20 % in den wissenschaftlichen Aufgaben erwarten. Auch wenn die Automatisierung in Bereichen wie der Mathematik und der theoretischen Biologie schwieriger ist, zeigen die relevanten Benchmarks kontinuierliche Fortschritte. Es wird erwartet, dass es in den nächsten Jahren noch weitere Brüche geben wird. Obwohl die vollständige Implementierung der KI und ihre tiefgreifende Wirkung möglicherweise länger dauern wird und sogar über 2030 hinausgehen könnte, ist Epoch AI überzeugt, dass in mehreren wissenschaftlichen Bereichen grundlegende Veränderungen durch die KI auftreten werden.