Apple a publié OpenELM, un modèle d'IA génératif qui surpasse les autres modèles de langage formés sur des ensembles de données publics, avec une augmentation de précision de 2,36 % et 2 fois moins de jetons de pré-entraînement.
OpenELM utilise une mise à l'échelle par couche pour optimiser l'allocation des paramètres du modèle de transformateur, ce qui entraîne une précision améliorée dans les tests de référence, à mesure que la configuration et les paramètres de chaque couche varient.
