Según Foresight News, Musk anunció en Twitter que el modelo grande Grok 2 de xAI se lanzará en agosto y se centrará en "limpiar" los modelos de lenguaje grandes (LLM) de los datos de entrenamiento de Internet.
Los modelos de lenguaje grande (LLM) son modelos de aprendizaje profundo muy grandes que se entrenan previamente en función de grandes cantidades de datos. El transformador subyacente es un conjunto de redes neuronales que consta de codificadores y decodificadores con capacidades de autoatención. Los codificadores y decodificadores extraen el significado de una secuencia de texto y comprenden las relaciones entre palabras y frases que contiene.
Los LLM de transformadores son capaces de realizar capacitación no supervisada, pero una explicación más precisa es que los transformadores pueden realizar aprendizaje autónomo. A través de este proceso, el convertidor aprende a comprender la gramática, el lenguaje y los conocimientos básicos.
