Według Foresight News Musk ogłosił na Twitterze, że duży model Grok 2 firmy xAI zostanie wprowadzony na rynek w sierpniu i skupi się na „czyszczeniu” dużych modeli językowych (LLM) z internetowych danych szkoleniowych.
Duże modele językowe (LLM) to bardzo duże modele głębokiego uczenia się, które są wstępnie szkolone na podstawie dużych ilości danych. Podstawowym transformatorem jest zestaw sieci neuronowych składający się z koderów i dekoderów wyposażonych w funkcje samouważności. Kodery i dekodery wydobywają znaczenie z sekwencji tekstu i rozumieją zawarte w nim relacje między słowami i frazami.
Transformatorowe LLM są zdolne do szkolenia bez nadzoru, ale bardziej precyzyjna interpretacja jest taka, że transformatory mogą przeprowadzać autonomiczne uczenie się. Dzięki temu procesowi konwerter uczy się rozumieć podstawową gramatykę, język i wiedzę.