Em uma entrevista recente no podcast Training Data da Sequoia Capital, o CTO da Microsoft, Kevin Scott, reiterou sua crença no valor duradouro das leis de escala do modelo de linguagem grande (LLM).
Leia também: Aplicativos de IA apresentarão ‘rótulos de segurança’ destacando riscos e testes
Scott, que desempenhou um grande papel no acordo de US$ 13 bilhões entre a Microsoft e a OpenAI, permanece otimista quanto ao potencial para avanços contínuos. Ele respondeu ao debate em curso afirmando que a ideia de leis de escala ainda é relevante para o campo da IA.
A pesquisa da OpenAI apoia benefícios de expansão
As leis de escalabilidade do LLM propostas pelos pesquisadores da OpenAI em 2020 afirmam que a eficiência dos modelos de linguagem aumenta proporcionalmente ao tamanho do modelo. Scott desacreditou a lei dos rendimentos decrescentes, dizendo que ainda é possível alcançar um crescimento exponencial, mas podem ser necessárias as próximas gerações de supercomputadores para perceber isso.
Embora alguns estudiosos questionem a sustentabilidade das leis de expansão, a OpenAI ainda depende delas como um componente-chave do seu plano de IA. As observações de Scott estão alinhadas com a abordagem da Microsoft a estes princípios, o que implica que a gigante da tecnologia não tem intenção de impedir o desenvolvimento de modelos maiores de IA.
Comunidade de IA debate melhorias futuras no modelo
A posição de Scott é totalmente oposta a alguns críticos da IA que pensam que o crescimento parou no GPT-4 e outros modelos semelhantes. Alguns críticos citaram os modelos mais recentes, incluindo o Gemini 1.5 Pro do Google e o Claude Opus da Anthropic, por não terem apresentado melhorias significativas em relação aos modelos anteriores. O crítico de IA Gary Marcus destacou esse ponto de vista em abril, questionando a falta de avanços significativos desde o lançamento do GPT-4.
Mesmo assim, Scott está otimista quanto à possibilidade de novas descobertas. Ele também aceitou o facto de existirem poucos dados em IA, mas enfatizou que isto não será mais um problema no futuro.
“A próxima amostra está chegando e não posso dizer quando e não posso prever exatamente quão boa será, mas é quase certo que será melhor nas coisas que são frágeis no momento.”
Kevin Scott
O grande financiamento da Microsoft em OpenAI é uma prova da sua confiança no avanço futuro dos LLMs. Alguns dos recursos de IA incluem o Microsoft Copilot, o que torna evidente que a empresa está interessada em melhorar o uso da IA. Ed Zitron, um crítico da IA, disse que, até certo ponto, a IA pode ficar estagnada porque as pessoas esperam muito dela.