Die Kosten für das Training von Modellen der künstlichen Intelligenz (KI) explodieren, und Prognosen deuten darauf hin, dass sie in den nächsten Jahren noch deutlich steigen werden. Dario Amodei, CEO des KI-Startups Anthropic, wies in einer aktuellen Folge des Podcasts „In Good Company“ auf diese steigenden Kosten hin.
Lesen Sie auch: Samsung-Mitarbeiter streiken und fordern höhere Löhne angesichts des wachsenden KI-Wettbewerbs
Für das Training aktueller fortschrittlicher KI-Modelle wie ChatGPT-4 sind etwa 100 Millionen US-Dollar erforderlich. Laut Amodei könnte dieser Betrag in den nächsten drei Jahren jedoch auf 10 bis 100 Milliarden US-Dollar steigen.
Entwicklung künstlicher allgemeiner Intelligenz treibt die Kosten in die Höhe
Der starke Anstieg ist auf den Übergang von generativer KI wie ChatGPT zu künstlicher allgemeiner Intelligenz (AGI) zurückzuführen. Der Fortschritt in Richtung AGI zielt darauf ab, Systeme zu entwickeln, die Wissen auf eine dem menschlichen Verstand ähnliche Weise erfassen, erwerben und nutzen können.
„Ich denke, wenn wir 10 oder 100 Milliarden Dollar erreichen – und ich denke, das wird 2025, 2026, vielleicht 2027 passieren –, dann bestehen meiner Meinung nach gute Chancen, dass wir bis dahin Modelle haben, die in den meisten Dingen besser sind als die meisten Menschen.“
Amodei
Laut Tom’s Hardware ist das bestehende Framework für diese Weiterentwicklungen derzeit riesig. Um beispielsweise ChatGPT zu trainieren, waren über 30.000 GPUs erforderlich, und jeder Nvidia B200 AI-Chip kostet zwischen 30.000 und 40.000 US-Dollar. Diese Hardwareinvestition ist einer der Faktoren, die die erhöhten Kosten verursachen könnten.
Rechenressourcen treiben die Kosten für KI-Training in die Höhe
Es gibt mehrere Gründe, warum die Kosten für das Training von KI steigen. Der Hauptgrund ist, dass die Menge der benötigten Rechenressourcen enorm ist. Mit der Weiterentwicklung von Deep-Learning-Modellen werden leistungsstarke GPUs und andere speziell entwickelte Hardware benötigt. Im Jahr 2023 wurden über 3,8 Millionen GPUs an Rechenzentren ausgeliefert, was das Ausmaß der erforderlichen Infrastruktur verdeutlicht.
Lesen Sie auch: Künstliche Intelligenz wird sich auf ein breites Spektrum öffentlicher Dienste auswirken
Ein weiterer wichtiger Faktor ist der Energieverbrauch. Der Stromverbrauch aller im letzten Jahr verkauften GPUs würde ausreichen, um 1,3 Millionen Haushalte mit Strom zu versorgen. Dieser hohe Energieverbrauch verursacht nicht nur hohe Kosten für das Unternehmen, sondern wirft auch Fragen hinsichtlich der Auswirkungen auf die Umwelt und den Naturschutz auf. Einem aktuellen Bericht von Google zufolge stiegen die Emissionen des Unternehmens innerhalb von vier Jahren um fast 50 %, hauptsächlich aufgrund des Energiebedarfs für das KI-Lernen.
Tech-Giganten investieren massiv in KI-Infrastruktur
Darüber hinaus investieren führende Technologieunternehmen viel Geld in die Weiterentwicklung der künstlichen Intelligenz. Elon Musk möchte beispielsweise 300.000 hochmoderne KI-Chips von Nvidia kaufen. Ebenso sollen Microsoft und OpenAI an einem 100 Milliarden Dollar teuren Rechenzentrum zur Weiterentwicklung der KI arbeiten.
Lesen Sie auch: Wimbledon setzt KI ein, um Online-Missbrauch zu bekämpfen
Trotz dieser steigenden Kosten gibt es Versuche, die Kosten für das KI-Training zu optimieren. Googles DeepMind hat kürzlich eine Technik namens Joint Example Selection (JEST) vorgestellt, die die Anzahl der Iterationen um den Faktor 13 und die benötigten Rechenressourcen um den Faktor 10 reduzieren soll. Dies trägt dazu bei, die zu verwendenden Ressourcen und den dafür benötigten Zeitaufwand zu reduzieren.
Doch trotz dieser Fortschritte steigen die Kosten aufgrund der Weiterentwicklung der AGI insgesamt. Von der generativen KI bis zur AGI müssen die Modelle große Datensätze interpretieren, daraus lernen, unterschiedliche Situationen vorhersehen und Probleme lösen, die kritisches Denken erfordern.
Cryptopolitan Reporting von Brenda Kanana