Selon Foresight News, Musk a annoncé sur Twitter que le grand modèle Grok 2 de xAI serait lancé en août et se concentrerait sur le « nettoyage » des grands modèles de langage (LLM) des données de formation Internet.
Les grands modèles de langage (LLM) sont de très grands modèles d'apprentissage en profondeur pré-entraînés sur la base de grandes quantités de données. Le transformateur sous-jacent est un ensemble de réseaux neuronaux constitués d’encodeurs et de décodeurs dotés de capacités d’auto-attention. Les encodeurs et décodeurs extraient le sens d’une séquence de texte et comprennent les relations entre les mots et les phrases qu’elle contient.
Les Transformer LLM sont capables d’effectuer une formation non supervisée, mais une interprétation plus précise est que les transformateurs peuvent effectuer un apprentissage autonome. Grâce à ce processus, le convertisseur apprend à comprendre la grammaire, le langage et les connaissances de base.