Foresight News によると、マスク氏は Twitter で、xAI の Grok 2 大型モデルが 8 月にリリースされ、インターネットのトレーニング データから大型言語モデル (LLM) を「クリーニング」することに重点を置くと発表しました。

大規模言語モデル (LLM) は、大量のデータに基づいて事前トレーニングされた非常に大規模な深層学習モデルです。基礎となるトランスフォーマーは、セルフアテンション機能を備えたエンコーダーとデコーダーで構成される一連のニューラル ネットワークです。エンコーダーとデコーダーは、一連のテキストから意味を抽出し、そのテキスト内の単語やフレーズ間の関係を理解し​​ます。

Transformer LLM は教師なしトレーニングが可能ですが、より正確に解釈すると、Transformer は自律学習を実行できるということになります。このプロセスを通じて、コンバーターは基本的な文法、言語、知識を理解することを学びます。