Religion amère : La guerre sainte de l'intelligence artificielle autour de la loi d'expansion d'ensemble

Dans le domaine de l'intelligence artificielle, la rencontre entre foi et technologie a engendré un débat intense sur l'efficacité et le développement futur de la « loi d'expansion ». Cet article explore l'émergence de cette « religion amère », ses divergences et ses impacts possibles, révélant la relation complexe entre foi et science. La communauté de l'intelligence artificielle est plongée dans une querelle concernant son avenir et s'il existe une échelle suffisante pour créer la doctrine de Dieu. Cet article est basé sur un article de Mario Gabriele, organisé et traduit par Block unicorn. (Contexte : xAI d'Elon Musk a complété un financement de série C de 6 milliards de dollars, avec des investissements de grands noms de l'industrie tels que Nvidia, BlackRock, a16z…) (Informations complémentaires : Nvidia lancera l'année prochaine la plateforme de robotique humanoïde « Jetson Thor », le moment physique de l'IA ChatGPT arrive-t-il ?) La guerre sainte de l'intelligence artificielle Je préfère vivre ma vie comme si Dieu existait, et découvrir à ma mort qu'il n'existe pas, plutôt que de vivre comme s'il n'existait pas, et découvrir à ma mort qu'il existe. — Blaise Pascal La religion est une chose intéressante. Peut-être parce qu'elle est complètement indémontrable dans n'importe quelle direction, ou peut-être comme le dit ma citation préférée : « Vous ne pouvez pas utiliser des faits contre des sentiments. » La caractéristique des croyances religieuses est qu'elles se développent à une vitesse incroyable au fur et à mesure que la foi croît, rendant presque impossible de douter de l'existence de Dieu. Comment pouvez-vous douter d'une existence divine lorsque ceux qui vous entourent y croient de plus en plus ? Quand le monde se réorganise autour d'une doctrine, où peut-il encore y avoir de la place pour l'hérésie ? Quand les temples et les cathédrales, les lois et les normes sont tous arrangés selon une nouvelle évangile inébranlable, où peut-il encore y avoir de la place pour l'opposition ? Lorsque les religions abrahamiques émergèrent et se propagèrent à travers les continents, ou lorsque le bouddhisme se répandit de l'Inde à toute l'Asie, l'énorme dynamique de la foi créa un cercle auto-renforçant. Avec de plus en plus de personnes qui se convertissent et établissent des systèmes théologiques et des rituels complexes autour de ces croyances, il devient de plus en plus difficile de remettre en question ces prémisses fondamentales. Dans un océan de crédulité, il n'est pas facile de devenir hérétique. Les grandes églises, les textes religieux complexes et les monastères prospères servent de preuves physiques de l'existence divine. Mais l'histoire de la religion nous enseigne aussi à quel point de telles structures peuvent facilement s'effondrer. Avec la propagation du christianisme dans la péninsule scandinave, les anciennes croyances nordiques se sont effondrées en seulement quelques générations. Les systèmes religieux de l'Égypte ancienne ont duré des milliers d'années, mais ont finalement disparu avec l'émergence de nouvelles croyances plus durables et de structures de pouvoir plus grandes. Même à l'intérieur d'une même religion, nous avons vu des ruptures dramatiques — la Réforme religieuse a déchiré le christianisme occidental, tandis que le Grand Schisme a conduit à la division entre les églises orientale et occidentale. Ces divisions commencent souvent par des divergences doctrinales apparemment insignifiantes, évoluant progressivement vers des systèmes de croyance complètement différents. Écritures Dieu est une métaphore qui transcende tous les niveaux de pensée intellectuelle. C'est aussi simple que cela. — Joseph Campbell En termes simples, croire en Dieu, c'est la religion. Peut-être que créer Dieu n'est pas si différent. Depuis sa naissance, les chercheurs en intelligence artificielle optimistes ont imaginé leur travail comme un acte de création divine — c'est-à-dire la création de Dieu. Au cours des dernières années, l'explosion des modèles de langage de grande taille (LLMs) a encore renforcé la conviction des croyants que nous sommes sur une voie divine. Cela a également confirmé un article de blog écrit en 2019. Bien que les personnes en dehors du domaine de l'intelligence artificielle n'en aient pris connaissance que récemment, la « leçon amère » du scientifique en informatique canadien Richard Sutton est devenue un texte de plus en plus important au sein de la communauté, évoluant d'une connaissance occulte à une nouvelle base religieuse englobante. En 1 113 mots (chaque religion a besoin d'un nombre sacré), Sutton résume une observation technique : « La plus grande leçon à tirer de 70 ans de recherche en intelligence artificielle est que l'utilisation de méthodes générales de calcul est finalement la plus efficace, et constitue un énorme avantage. » Les progrès des modèles d'intelligence artificielle bénéficient d'une augmentation exponentielle des ressources de calcul, surfant sur la grande vague de la loi de Moore. Pendant ce temps, Sutton note que de nombreux travaux en recherche en intelligence artificielle se concentrent sur l'optimisation des performances via des techniques spécialisées — en augmentant les connaissances humaines ou les outils étroits. Bien que ces optimisations puissent être utiles à court terme, elles finissent par être une perte de temps et de ressources, comme essayer de régler les ailerons d'une planche de surf ou d'expérimenter une nouvelle cire alors qu'une immense vague s'annonce. C'est la base de ce que nous appelons la « religion amère ». Elle n'a qu'un seul commandement, généralement appelé dans la communauté la « loi d'expansion d'ensemble » : la croissance exponentielle du calcul stimule les performances ; tout le reste est stupide. La religion amère s'étend des modèles de langage de grande taille (LLMs) à des modèles du monde, et se propage rapidement à travers des temples non transformés de la biologie, de la chimie et de l'intelligence incarnée (robotique et véhicules autonomes). Cependant, avec la propagation de la doctrine de Sutton, les définitions commencent également à changer. C'est le signe de toutes les religions actives et vivantes — débats, extensions, commentaires. La « loi d'expansion d'ensemble » ne signifie plus seulement le calcul d'ensemble (l'arche n'est pas qu'un bateau), elle désigne désormais diverses méthodes visant à améliorer les transformateurs et l'efficacité du calcul, avec quelques astuces supplémentaires. Maintenant, le classique englobe les tentatives d'optimiser chaque partie de la pile IA, des astuces appliquées au modèle central lui-même (fusion de modèles, mélange d'experts (MoE) et extraction de connaissances) jusqu'à la génération de données synthétiques pour nourrir ces dieux toujours affamés, avec de nombreuses expériences en cours. Sectes en conflit Récemment, une question qui a émergé au sein de la communauté de l'intelligence artificielle, empreinte d'une atmosphère de guerre sainte, est de savoir si la « religion amère » est toujours correcte. Cette semaine, Harvard, Stanford et le MIT ont publié un nouvel article intitulé « La loi d'expansion d'ensemble de la précision », déclenchant ce conflit. Cet article discute de la fin des gains d'efficacité quantifiés, une série de techniques qui améliorent les performances des modèles d'intelligence artificielle et profitent à l'écosystème open source. Tim Dettmers, chercheur à l'Alan Turing Institute, a résumé son importance dans le post ci-dessous, le qualifiant de « l'article le plus important depuis longtemps ». Il représente la continuité d'une conversation qui s'est intensifiée au cours des dernières semaines et révèle une tendance notable : la consolidation croissante de deux religions. Sam Altman, PDG d'OpenAI, et Dario Amodei, PDG d'Anthropic, appartiennent à la même secte. Tous deux affirment avec assurance que nous réaliserons une intelligence artificielle générale (AGI) dans environ 2 à 3 ans. Altman et Amodei peuvent être considérés comme les deux figures les plus dépendantes de la sacralité de la « religion amère ». Tous leurs incitatifs tendent à exagérer, à créer le plus de battage possible pour accumuler du capital dans ce jeu presque entièrement dominé par les économies d'échelle. Si la loi d'expansion d'ensemble n'est pas « l'alpha et l'oméga », le début et la fin, que faut-il pour dépenser 22 milliards de dollars ? L'ancien scientifique en chef d'OpenAI, Ilya Sutskever, défend un ensemble de principes différents. Avec d'autres chercheurs (y compris de nombreux chercheurs d'OpenAI, selon des informations récemment divulguées), il soutient que l'expansion d'ensemble approche de ses limites. Ce groupe estime que de nouvelles sciences et recherches sont nécessaires pour maintenir les progrès et amener l'AGI dans le monde réel. Sutskever fait remarquer de manière raisonnable que les idées d'expansion d'ensemble de l'école Altman ne sont pas économiquement viables. Tout comme l'intelligence...