據 PANews 報道,蘋果研究團隊推出了一種先進的開放語言模型OpenELM。OpenELM使用分層縮放策略,在transformer模型的每一層中有效地分配參數,從而提高了準確性。在參數預算約爲10億的情況下,OpenELM 的準確率比OLMo提高了2.36%,預訓練token需求減少了2倍。
與之前只提供模型權重、推理代碼以及在私有數據集上進行預訓練的做法不同,OpenELM包含了在公共可用數據集上對語言模型進行訓練和評估的完整框架,包括訓練日誌、多個檢查點和預訓練配置。他們還發布了將模型轉換爲MLX庫的代碼,以在蘋果設備上進行推理和微調。
早在今年2月,蘋果公司CEO TimCook表示,蘋果生成式AI功能將於“今年晚些時候”推出,有消息稱即將在6月發佈iOS 18可能是蘋果iOS史上“最大”的更新,而9月也將推出首款AI iPhone設備。