De acordo com a PANews, a equipe de pesquisa da Apple introduziu um modelo avançado de linguagem aberta, OpenELM. Este modelo usa uma estratégia de escala hierárquica para distribuir efetivamente os parâmetros em cada camada do modelo do transformador, melhorando assim a precisão. Por exemplo, com um orçamento de parâmetro de cerca de 1 bilhão, a precisão do OpenELM aumentou 2,36% em comparação com o OLMo, enquanto os tokens de pré-treinamento necessários foram reduzidos pela metade.
Ao contrário das práticas anteriores que forneciam apenas pesos de modelo, código de inferência e pré-treinamento em conjuntos de dados privados, o OpenELM inclui uma estrutura completa para treinamento e avaliação de modelos de linguagem em conjuntos de dados disponíveis publicamente. Isso inclui logs de treinamento, vários pontos de verificação e configurações de pré-treinamento. Além disso, também divulgaram o código para converter o modelo na biblioteca MLX, permitindo inferência e ajuste fino em dispositivos Apple.
No início de fevereiro, o CEO da Apple, Tim Cook, afirmou que o recurso generativo de IA da Apple seria lançado “ainda este ano”. Há rumores de que o próximo lançamento do iOS 18 em junho pode ser a “maior” atualização na história do iOS da Apple, e o primeiro dispositivo AI iPhone também deve ser lançado em setembro.