A Microsoft está supostamente desenvolvendo um novo modelo interno de IA, e é a primeira vez desde que investiu pesadamente na OpenAI com mais de US$ 10 bilhões para utilizar os modelos de IA da startup em seus próprios produtos e permanecer à frente até que os concorrentes os alcancem.
MAI-1 é um projeto interno da Microsoft
Diz-se que o novo modelo é grande o suficiente para competir com os da Alphabet, empresa-mãe do Google, e da OpenAI.
O novo modelo é chamado MAI-1 internamente na Microsoft, e Mustafa Suleyman recentemente contratado está liderando o projeto, de acordo com reportagem do The Information. Ele é o mesmo cara que cofundou a DeepMind, que mais tarde foi comprada pelo Google, e muito recentemente foi CEO de outra startup chamada Inflection.
Mas afirma-se no relatório que não é o modelo de IA do Inflection, mas a empresa pode usar os conjuntos de dados de treinamento e outras tecnologias relacionadas da inicialização para este mesmo modelo da Microsoft, que é totalmente separado daqueles que o Inflection já lançou.
O ponto a ser lembrado aqui é que a Microsoft, antes de contratar Suleyman, desembolsou US$ 650 milhões para comprar todos os direitos do Inflection e também contratou a maior parte de seus funcionários.
Diz-se que o MAI-1 será um animal completamente diferente e muito maior do que os modelos menores da Microsoft que treinou antes e são de fonte gratuita. Segundo pessoas familiarizadas com o assunto, o modelo precisará de mais recursos computacionais e dados de treinamento, por isso com certeza será mais caro para ser desenvolvido.
Um empreendimento muito maior
Para efeito de comparação, modelos menores treinados pelas empresas Mistral e Meta têm 70 bilhões de parâmetros, que podem ser chamados aproximadamente de escala para avaliar o tamanho de um modelo de IA, e diz-se que o GPT4 da OpenAI tem mais de 1 trilhão de parâmetros. E o MAI-1 terá cerca de 500 bilhões de parâmetros.
Mas os parâmetros por si só não são um recurso confiável para medir um modelo de IA, já que algumas séries recentes de modelos de código aberto Phi da Microsoft apresentam desempenho equivalente a modelos 10 vezes maiores.
O Phi-3 Mini, lançado no mês passado pela Microsoft, é uma das séries de menor tamanho, e a empresa pretende atingir uma base de clientes mais ampla com suas opções mais baratas.
Também é relatado que a Microsoft tem adquirido um grande número de servidores, ou melhor, clusters de servidores que possuem processadores gráficos Nvidia incorporados junto com grandes quantidades de conjuntos de dados para treinar o modelo.
Embora quando a Microsoft anunciou que estava incorporando o chatbot ChatGPT da OpenAI em sua pesquisa no Bing, muitos analistas chamaram isso de “momento do iPhone” e foram muito otimistas em relação ao seu impacto, inicialmente deu apenas um ou dois por cento de participação de pesquisa extra ao Bing em relação ao Google.
No entanto, o relatório mais recente do Search Engine Journal de abril mostra que, pela primeira vez, a participação nas pesquisas do Google caiu mais de 4% em um único mês, à medida que os concorrentes Bing e Yahoo ganharam participação especificamente no mercado dos EUA.
Mas parece que começou a fazer sentido para a Microsoft investir bilhões em OpenAI e agora com seu próprio sucesso de modelos Phi, se estiver investindo em um modelo maior, isso também faz sentido.