Potrivit Foresight News, Musk a anunțat pe Twitter că modelul mare Grok 2 de la xAI va fi lansat în august și se va concentra pe „curățarea” modelelor lingvistice mari (LLM) din datele de instruire pe internet.

Modelele lingvistice mari (LLM) sunt modele de învățare profundă foarte mari, care sunt pre-instruite pe baza unor cantități mari de date. Transformatorul de bază este un set de rețele neuronale constând din codificatoare și decodoare cu capacități de auto-atenție. Codificatoarele și decodificatoarele extrag semnificația dintr-o secvență de text și înțeleg relațiile dintre cuvinte și expresii din cadrul acesteia.

Transformer LLM-urile sunt capabile de formare nesupravegheată, dar o explicație mai precisă este că transformatoarele pot efectua învățare autonomă. Prin acest proces, convertizorul învață să înțeleagă gramatica, limbajul și cunoștințele de bază.