Як повідомляє Foresight News, Маск оголосив у Twitter, що велика модель xAI Grok 2 буде запущена в серпні та буде зосереджена на «очищенні» великих мовних моделей (LLM) від навчальних даних Інтернету.
Великі мовні моделі (LLM) — це дуже великі моделі глибокого навчання, які попередньо навчаються на основі великих обсягів даних. Основним трансформатором є набір нейронних мереж, що складається з кодерів і декодерів з можливостями самоконтролю. Кодери та декодери виділяють значення з послідовності тексту та розуміють зв’язки між словами та фразами в ньому.
Трансформери LLM здатні до навчання без нагляду, але більш точним поясненням є те, що трансформери можуть здійснювати автономне навчання. Завдяки цьому процесу конвертер навчається розуміти базову граматику, мову та знання.
