По сообщению Foresight News, Маск объявил в Твиттере, что большая модель Grok 2 от xAI будет запущена в августе и будет сосредоточена на «очистке» больших языковых моделей (LLM) от данных интернет-обучения.
Большие языковые модели (LLM) — это очень большие модели глубокого обучения, которые предварительно обучаются на основе больших объемов данных. Базовый преобразователь представляет собой набор нейронных сетей, состоящих из кодеров и декодеров с возможностями самообслуживания. Кодеры и декодеры извлекают смысл из последовательности текста и понимают отношения между словами и фразами внутри него.
LLM-трансформеры способны к обучению без присмотра, но более точная интерпретация заключается в том, что трансформаторы могут выполнять автономное обучение. Благодаря этому процессу преобразователь учится понимать базовую грамматику, язык и знания.
