Laut Foresight News kündigte Musk auf Twitter an, dass das große Modell Grok 2 von xAI im August auf den Markt kommen wird und sich auf die „Reinigung“ großer Sprachmodelle (LLM) aus Internet-Trainingsdaten konzentrieren wird.

Große Sprachmodelle (LLM) sind sehr große Deep-Learning-Modelle, die auf der Grundlage großer Datenmengen vorab trainiert werden. Der zugrunde liegende Transformator ist eine Reihe neuronaler Netze, bestehend aus Encodern und Decodern mit Selbstaufmerksamkeitsfähigkeiten. Encoder und Decoder extrahieren Bedeutung aus einer Textsequenz und verstehen die Beziehungen zwischen darin enthaltenen Wörtern und Phrasen.

Transformer-LLMs sind in der Lage, unbeaufsichtigt zu trainieren. Eine genauere Erklärung ist jedoch, dass Transformer autonomes Lernen durchführen können. Durch diesen Prozess lernt der Konverter, grundlegende Grammatik, Sprache und Kenntnisse zu verstehen.