Le coût de la formation des modèles d’intelligence artificielle (IA) monte en flèche, et les projections suggèrent une augmentation significative au cours des prochaines années. Dario Amodei, PDG de la startup d'IA Anthropic, a souligné cette hausse des dépenses lors d'un récent épisode du podcast « In Good Company ».

Lisez aussi : Les travailleurs de Samsung se mettent en grève pour exiger des salaires plus élevés dans un contexte de concurrence croissante en matière d'IA

Les modèles d’IA avancés actuels, tels que ChatGPT-4, nécessitent environ 100 millions de dollars pour être formés. Mais, selon Amodei, ce montant pourrait atteindre entre 10 et 100 milliards de dollars au cours des trois prochaines années. 

Le développement de l’intelligence artificielle générale fait grimper les coûts

Cette forte hausse est due au passage de l’IA générative, telle que ChatGPT, à l’intelligence artificielle générale (AGI). Les progrès vers l'AGI visent à développer des systèmes capables de comprendre, d'acquérir et d'utiliser des connaissances d'une manière similaire à l'esprit humain.

« Je pense que si nous passons à 10 ou 100 milliards de dollars, et je pense que cela se produira en 2025, 2026, peut-être 2027… alors je pense qu'il y a de fortes chances qu'à ce moment-là, nous soyons en mesure d'obtenir des modèles meilleurs que la plupart des humains, dans la plupart des choses. 

Amodeï

Selon Tom’s Hardware, le cadre existant pour ces avancées est actuellement énorme. Par exemple, pour entraîner ChatGPT, plus de 30 000 GPU ont été nécessaires, et chaque puce Nvidia B200 AI coûte entre 30 000 et 40 000 $. Cet investissement matériel est l’un des éléments pouvant être à l’origine de l’augmentation des dépenses. 

Les ressources informatiques font grimper les coûts de formation en IA

Plusieurs raisons expliquent l’augmentation du coût de la formation à l’IA. La raison principale est que la quantité de ressources informatiques nécessaires est immense. Avec les progrès des modèles d’apprentissage profond, des GPU puissants et d’autres matériels spécialement conçus sont nécessaires. Plus de 3,8 millions de GPU ont été expédiés aux centres de données en 2023, ce qui démontre l'étendue de l'infrastructure requise. 

Lisez aussi : L’intelligence artificielle affectera un large éventail de services publics

Un autre facteur important est la consommation d’énergie. La consommation électrique de tous les GPU vendus l’année dernière serait suffisante pour alimenter 1,3 million de foyers. Cette consommation d'énergie élevée entraîne non seulement des dépenses élevées pour l'entreprise, mais soulève également des questions sur les effets sur l'environnement et la conservation.   Selon un récent rapport de Google, les émissions de l’entreprise ont augmenté de près de 50 % en quatre ans, principalement en raison de l’énergie nécessaire à l’apprentissage de l’IA.

Les géants de la technologie investissent massivement dans l’infrastructure de l’IA

De plus, les grandes entreprises technologiques investissent beaucoup d’argent dans le développement de l’intelligence artificielle. Par exemple, Elon Musk souhaite acheter 300 000 puces IA de pointe de Nvidia. De même, Microsoft et OpenAI travailleraient sur un centre de données de 100 milliards de dollars pour faire progresser l’IA.

Lire aussi : Wimbledon utilise l'IA pour lutter contre les abus en ligne

Malgré ces coûts croissants, des tentatives sont faites pour optimiser les coûts de la formation en IA. DeepMind de Google a récemment présenté une technique appelée Joint Sample Selection (JEST) qui prétend réduire le nombre d'itérations d'un facteur 13 et les ressources de calcul nécessaires d'un facteur 10. Cela permet de réduire les ressources à utiliser et le temps à prendre.

Cependant, même avec ces progrès, l’orientation générale est vers des coûts plus élevés en raison des progrès de l’AGI. De l’IA générative à l’AGI, les modèles sont nécessaires pour interpréter de grands ensembles de données, en tirer des leçons, anticiper différentes situations et résoudre des problèmes qui nécessitent une pensée critique. 

Reportage cryptopolitain par Brenda Kanana