Apple Research Team Launches Advanced Open Language Model OpenELM

Binance News · 2024-04-25T03:53:44.000Z

According to PANews, Apple's research team has introduced an advanced open language model, OpenELM. This model uses a hierarchical scaling strategy to effectively distribute parameters in each layer of the transformer model, thereby improving accuracy. For instance, with a parameter budget of about 1 billion, OpenELM's accuracy has increased by 2.36% compared to OLMo, while the required pre-training tokens have been reduced by half. Unlike previous practices that only provided model weights, inference code, and pre-training on private datasets, OpenELM includes a complete framework for training and evaluating language models on publicly available datasets. This includes training logs, multiple checkpoints, and pre-training configurations. In addition, they have also released the code to convert the model into the MLX library, allowing for inference and fine-tuning on Apple devices. Earlier in February, Apple CEO Tim Cook stated that Apple's generative AI feature would be launched 'later this year'. There are rumors that the upcoming release of iOS 18 in June could be the 'biggest' update in the history of Apple's iOS, and the first AI iPhone device is also expected to be launched in September.

Podle PANews představil výzkumný tým společnosti Apple pokročilý model otevřeného jazyka OpenELM. Tento model používá strategii hierarchického škálování k efektivní distribuci parametrů v každé vrstvě modelu transformátoru, čímž se zvyšuje přesnost. Například s rozpočtem parametrů ve výši přibližně 1 miliardy se přesnost OpenELM zvýšila o 2,36 % ve srovnání s OLMo, zatímco požadované předtrénovací tokeny byly sníženy o polovinu.
Na rozdíl od předchozích postupů, které poskytovaly pouze modelové váhy, odvozený kód a předtrénování na soukromých datových sadách, OpenELM obsahuje kompletní rámec pro školení a vyhodnocování jazykových modelů na veřejně dostupných datových sadách. To zahrnuje tréninkové protokoly, více kontrolních bodů a předtréninkové konfigurace. Kromě toho také vydali kód pro převod modelu do knihovny MLX, což umožňuje odvodit a doladit zařízení Apple.
Začátkem února generální ředitel společnosti Apple Tim Cook uvedl, že generativní funkce AI společnosti Apple bude spuštěna „později v tomto roce“. Proslýchá se, že nadcházející červnové vydání iOS 18 by mohlo být „největší“ aktualizací v historii Apple iOS a očekává se, že první zařízení AI iPhone bude spuštěno v září.

Výzkumný tým společnosti Apple spouští pokročilý model otevřeného jazyka OpenELM

Nejnovější zprávy