Os SLMs são o próximo divisor de águas da IA?

Embora a indústria de IA continue fortemente focada em Modelos de Linguagem Grandes (LLMs), um número crescente de especialistas acredita que os Modelos de Linguagem Pequenos (SLMs) podem em breve assumir o centro do palco.

À medida que as empresas de tecnologia aumentam os investimentos em IA generativa durante a movimentada temporada de festas, a conversa está mudando para a necessidade de soluções personalizadas em vez de sistemas monolíticos.

Embora os LLMs se destaquem em lidar com diversas tarefas, muitas vezes são intensivos em recursos, apresentando desafios em custo, consumo de energia e demandas computacionais.

De acordo com o CEO da AWS, Matt Garman, já há um interesse significativo por parte das empresas aproveitando a IA generativa alimentada por modelos como o Anthropic.

No entanto, os LLMs, embora dominantes em algumas áreas, não são uma solução universal.

O CEO da Teradata, Steven McMillan, defende os SLMs como o futuro da IA, enfatizando sua capacidade de fornecer resultados específicos de tarefas.

McMillan expressou:

“À medida que olhamos para o futuro, acreditamos que pequenos e médios modelos de linguagem e ambientes controlados, como LLMs específicos de domínio, fornecerão soluções muito melhores.”

SLMs são projetados especificamente, treinados em conjuntos de dados específicos para fornecer insights altamente relevantes enquanto garantem a privacidade dos dados.

Uma Pesquisa Abrangente sobre Pequenos Modelos de Linguagem

Uma boa pesquisa sobre pequenos modelos de linguagem (SLMs) e discussão sobre questões relacionadas a definições, aplicações, aprimoramentos, confiabilidade e mais. https://t.co/qVxuY1jWDE pic.twitter.com/WZuRm1fqU4

— elvis (@omarsar0) 7 de novembro de 2024

Ao contrário de seus colegas maiores, eles otimizam energia e recursos computacionais para escalar de acordo com as necessidades de um projeto, oferecendo uma alternativa eficiente e de custo-benefício.

Para empresas que exigem profunda especialização em um determinado domínio, modelos especializados—sejam LLMs específicos de domínio ou SLMs—oferecem uma precisão incomparável. Por exemplo, um modelo adaptado para um Diretor de Marketing (CMO) em comparação com um para um Diretor Financeiro (CFO) fornece insights altamente contextuais e relevantes dentro de seu campo de treinamento.

À medida que o cenário da IA evolui, a ascensão dos SLMs destaca uma demanda crescente por precisão, eficiência e escalabilidade—qualidades que podem redefinir o futuro dos sistemas inteligentes.

Os SLMs são uma opção melhor?

A Associação de Cientistas de Dados (ADaSci) estima que desenvolver um SLM com 7 bilhões de parâmetros para atender um milhão de usuários exigiria apenas 55,1 MWh (megawatt-horas) de eletricidade.

Em contraste, treinar o GPT-3, com seus 175 bilhões de parâmetros, consumiu impressionantes 1.287 MWh, sem contar a energia usada quando o modelo está ativamente em operação.

Isso significa que um SLM usa apenas cerca de 5% da energia necessária por um LLM.

Os LLMs, devido às suas enormes demandas computacionais, são tipicamente executados em servidores em nuvem, o que muitas vezes significa que as empresas perdem o controle sobre seus dados e enfrentam tempos de resposta mais lentos à medida que as informações viajam pela internet.

Mais fraco é melhor - Ótimo artigo do @GoogleDeepMind

**Problema**🔍:

Treinar modelos de linguagem (LMs) com dados sintéticos de alta qualidade de LMs fortes é comum para melhorar o raciocínio, mas pode não ser computacionalmente ideal sob orçamentos de inferência fixos.

**Principais Insights deste Artigo… pic.twitter.com/PIbhSN3zVV

— Rohan Paul (@rohanpaul_ai) 28 de setembro de 2024

À medida que as empresas adotam cada vez mais a IA, está claro que um único modelo não servirá para todos.

As empresas priorizarão eficiência, custo-efetividade e minimização da transferência de dados para a nuvem, escolhendo o modelo mais adequado para cada projeto—seja um LLM de uso geral ou um modelo menor e mais especializado.

Neste cenário em evolução, eficiência e precisão serão fundamentais.

McMillan disse:

“Quando você pensa em treinar modelos de IA, eles devem ser construídos sobre a base de ótimos dados.”

Ele acrescentou:

“Isso é o que fazemos, fornecer esse conjunto de dados confiável e, em seguida, fornecer as capacidades e análises para que os clientes e seus consumidores possam confiar nos resultados.”

LLMs menores e específicos de domínio oferecem uma alternativa atraente, permitindo que as empresas aproveitem o poder da IA sem os altos custos de recursos e a complexidade dos modelos maiores.

À medida que a IA se torna central na tomada de decisões empresariais, selecionar o modelo certo para cada tarefa será crítico, garantindo resultados confiáveis e escaláveis.