De acordo com o Foresight News, Musk anunciou no Twitter que o modelo grande Grok 2 da xAI será lançado em agosto e se concentrará na “limpeza” de modelos de linguagem grande (LLM) dos dados de treinamento da Internet.
Grandes modelos de linguagem (LLM) são modelos de aprendizagem profunda muito grandes que são pré-treinados com base em grandes quantidades de dados. O transformador subjacente é um conjunto de redes neurais que consiste em codificadores e decodificadores com capacidade de autoatenção. Codificadores e decodificadores extraem significado de uma sequência de texto e compreendem as relações entre palavras e frases dentro dela.
Os Transformer LLMs são capazes de treinamento não supervisionado, mas uma interpretação mais precisa é que os transformadores podem realizar aprendizagem autônoma. Por meio desse processo, o conversor aprende a compreender gramática, idioma e conhecimentos básicos.