Secondo Foresight News, Musk ha annunciato su Twitter che il grande modello Grok 2 di xAI sarà lanciato ad agosto e si concentrerà sulla “pulizia” dei modelli linguistici di grandi dimensioni (LLM) dai dati di formazione su Internet.
I modelli LLM (Large Language Models) sono modelli di deep learning di grandi dimensioni pre-addestrati sulla base di grandi quantità di dati. Il trasformatore sottostante è un insieme di reti neurali costituite da codificatori e decodificatori con capacità di auto-attenzione. I codificatori e i decodificatori estraggono il significato da una sequenza di testo e comprendono le relazioni tra parole e frasi al suo interno.
I Transformer LLM sono in grado di effettuare formazione senza supervisione, ma un'interpretazione più precisa è che i trasformatori possono eseguire un apprendimento autonomo. Attraverso questo processo, il convertitore impara a comprendere la grammatica, la lingua e la conoscenza di base.