Saskaņā ar Foresight News, Musk paziņoja Twitter, ka xAI Grok 2 lielais modelis tiks laists klajā augustā un koncentrēsies uz lielo valodu modeļu (LLM) "tīrīšanu" no interneta apmācības datiem.
Lielie valodu modeļi (LLM) ir ļoti lieli dziļās mācīšanās modeļi, kas ir iepriekš apmācīti, pamatojoties uz lielu datu apjomu. Pamatā esošais transformators ir neironu tīklu kopums, kas sastāv no kodētājiem un dekodētājiem ar pašapvērošanas iespējām. Kodētāji un dekodētāji iegūst nozīmi no teksta secības un izprot attiecības starp vārdiem un frāzēm tajā.
Transformatoru LLM ir spējīgi apmācīt bez uzraudzības, taču precīzāks izskaidrojums ir tāds, ka transformatori var veikt autonomu mācīšanos. Izmantojot šo procesu, pārveidotājs iemācās saprast pamata gramatiku, valodu un zināšanas.