Dans une récente interview sur le podcast Training Data de Sequoia Capital, le directeur technique de Microsoft, Kevin Scott, a réitéré sa conviction dans la valeur durable des lois de mise à l'échelle des grands modèles de langage (LLM). 

Lisez aussi : Les applications d’IA comporteront des « étiquettes de sécurité » mettant en évidence les risques et les tests

Scott, qui a joué un rôle important dans l'accord de 13 milliards de dollars entre Microsoft et OpenAI, reste optimiste quant au potentiel de progrès continus. Il a répondu au débat en cours en déclarant que l’idée de faire évoluer les lois est toujours pertinente dans le domaine de l’IA. 

La recherche OpenAI soutient les avantages de la mise à l’échelle

Les lois d'échelle LLM proposées par les chercheurs d'OpenAI en 2020 stipulent que l'efficacité des modèles de langage augmente de manière proportionnelle à la taille du modèle. Scott a discrédité la loi des rendements décroissants, affirmant qu'il est encore possible d'atteindre une croissance exponentielle, mais qu'il faudra peut-être les prochaines générations de superordinateurs pour y parvenir. 

Alors que certains chercheurs remettent en question la durabilité des lois de mise à l'échelle, OpenAI s'appuie toujours sur elles comme élément clé de son plan d'IA. Les remarques de Scott sont conformes à l’approche de Microsoft concernant ces principes, ce qui implique que le géant de la technologie n’a pas l’intention d’arrêter le développement de modèles d’IA plus importants.

La communauté de l’IA débat des futures améliorations du modèle

La position de Scott est tout à fait opposée à celle de certains critiques de l’IA qui pensent que la croissance s’est arrêtée au GPT-4 et à d’autres modèles similaires. Certains critiques ont cité les derniers modèles, notamment le Gemini 1. 5 Pro de Google et le Claude Opus d’Anthropic, pour ne pas avoir montré d’améliorations significatives par rapport aux modèles précédents. Le critique de l'IA Gary Marcus a souligné ce point de vue en avril, remettant en question le manque d'avancées significatives depuis la sortie de GPT-4. 

Mais Scott reste optimiste quant à la possibilité de nouvelles découvertes. Il a également admis le fait qu’il existe peu de points de données dans l’IA, mais a souligné que cela ne serait plus un problème à l’avenir.

"Le prochain échantillon arrive, et je ne peux pas vous dire quand, et je ne peux pas prédire exactement à quel point il sera bon, mais il sera presque certainement meilleur pour les choses qui sont fragiles en ce moment."

Kévin Scott

L’important financement de Microsoft dans OpenAI témoigne de sa confiance dans les progrès futurs des LLM. Certaines des fonctionnalités de l'IA incluent Microsoft Copilot, ce qui montre clairement que l'entreprise souhaite améliorer son utilisation de l'IA. Ed Zitron, critique de l’IA, a déclaré que, dans une certaine mesure, l’IA peut être bloquée parce que les gens en attendent trop.