据PANews报道,苹果研究团队推出了一个先进的开放语言模型OpenELM。该模型采用分层缩放策略,有效分配Transformer模型各层的参数,从而提高准确率。例如,在约10亿的参数预算下,OpenELM的准确率相比OLMo提升了2.36%,而所需的预训练token则减少了一半。

与之前仅提供模型权重、推理代码和私有数据集预训练的做法不同,OpenELM 包含一个完整的框架,用于在公开数据集上训练和评估语言模型。这包括训练日志、多个检查点和预训练配置。此外,他们还发布了将模型转换为 MLX 库的代码,允许在 Apple 设备上进行推理和微调。

早在 2 月份,苹果首席执行官蒂姆·库克就表示,苹果的生成式 AI 功能将于“今年晚些时候”推出。有传言称,即将于 6 月发布的 iOS 18 可能是苹果 iOS 历史上“最大”的一次更新,首款 AI iPhone 设备也有望于 9 月推出。