Microsoft serait en train de développer un nouveau modèle d'IA interne, et c'est pour la première fois depuis qu'il a investi massivement dans OpenAI avec plus de 10 milliards de dollars afin d'utiliser les modèles d'IA de la startup dans ses propres produits et de garder une longueur d'avance jusqu'à ce que ses concurrents rattrapent leur retard.
MAI-1 est un projet interne de Microsoft
Le nouveau modèle serait suffisamment grand pour concurrencer ceux d’Alphabet, la société mère de Google, et d’OpenAI.
Le nouveau modèle s'appelle MAI-1 en interne chez Microsoft, et Mustafa Suleyman, récemment embauché, dirige le projet, selon un rapport de The Information. C'est le même homme qui a cofondé DeepMind, qui a ensuite été racheté par Google, et très récemment, il était PDG d'une autre startup appelée Inflection.
Mais il est affirmé dans le rapport qu'il ne s'agit pas du modèle d'IA d'Inflection, mais que la société peut utiliser les ensembles de données de formation et d'autres technologies associées de la startup pour ce modèle très Microsoft, qui est entièrement distinct de ceux qu'Inflection a déjà publiés.
Ce qu'il faut retenir ici, c'est que Microsoft, avant d'embaucher Suleyman, a dépensé 650 millions de dollars pour acheter l'intégralité des droits d'Inflection et a également embauché la plupart de ses employés.
On dit que MAI-1 sera un animal complètement différent et beaucoup plus grand que les plus petits modèles Microsoft qu'il a entraînés auparavant et qui sont gratuits. Selon des personnes familières avec le sujet, le modèle nécessitera davantage de ressources informatiques et de données de formation, son développement sera donc certainement plus coûteux.
Un chantier bien plus vaste
À titre de comparaison, les modèles plus petits formés par les sociétés Mistral et Meta ont 70 milliards de paramètres, ce qui peut être grossièrement appelé une échelle pour évaluer la taille d'un modèle d'IA, et le GPT4 d'OpenAI aurait plus de 1 000 milliards de paramètres. Et MAI-1 comportera environ 500 milliards de paramètres.
Mais les paramètres à eux seuls ne constituent pas une fonctionnalité fiable pour mesurer un modèle d’IA, car certaines séries récentes de modèles open source Phi de Microsoft seraient au niveau de performances avec des modèles 10 fois plus grands.
Le Phi-3 Mini, lancé le mois dernier par Microsoft, fait partie des séries les plus petites, et la société vise à cibler une clientèle plus large avec ses options moins chères.
Il est également rapporté que Microsoft a acheté un grand nombre de serveurs, ou plutôt des clusters de serveurs dotés de processeurs graphiques Nvidia intégrés ainsi que d'énormes quantités d'ensembles de données pour entraîner le modèle.
Bien que lorsque Microsoft a annoncé qu'il intégrerait le chatbot ChatGPT d'OpenAI dans sa recherche Bing, de nombreux analystes l'ont qualifié de « moment iPhone » et se sont montrés trop optimistes quant à son impact, mais il n'a initialement accordé qu'un ou deux pour cent de part de recherche supplémentaire à Bing par rapport à Google.
Cependant, le rapport le plus récent du Search Engine Journal d'avril montre que pour la première fois, la part de recherche de Google a chuté de plus de 4 % en un seul mois, les concurrents Bing et Yahoo ayant gagné des parts spécifiquement sur le marché américain.
Mais il semble qu'il ait commencé à avoir du sens pour Microsoft d'investir des milliards dans OpenAI et maintenant, avec le succès de ses propres modèles Phi, s'il investit dans un modèle plus grand, cela a également du sens.