Podle Foresight News Musk na Twitteru oznámil, že velký model xAI Grok 2 bude uveden na trh v srpnu a zaměří se na „čištění“ velkých jazykových modelů (LLM) od dat o školení na internetu.
Velké jazykové modely (LLM) jsou velmi rozsáhlé modely hlubokého učení, které jsou předem proškoleny na základě velkého množství dat. Základní transformátor je sada neuronových sítí skládající se z kodérů a dekodérů se schopnostmi samoobsluhy. Kodéry a dekodéry extrahují význam ze sekvence textu a rozumí vztahům mezi slovy a frázemi v něm.
Transformátorové LLM jsou schopny trénovat bez dozoru, ale přesnější vysvětlení je, že transformátory mohou provádět autonomní učení. Prostřednictvím tohoto procesu se převodník naučí rozumět základní gramatice, jazyku a znalostem.