Theo Foresight News, Musk đã thông báo trên Twitter rằng mô hình lớn Grok 2 của xAI sẽ được ra mắt vào tháng 8 và sẽ tập trung vào việc “làm sạch” các mô hình ngôn ngữ lớn (LLM) khỏi dữ liệu đào tạo trên Internet.
Mô hình ngôn ngữ lớn (LLM) là các mô hình học sâu rất lớn được đào tạo trước dựa trên lượng lớn dữ liệu. Máy biến áp cơ bản là một tập hợp các mạng thần kinh bao gồm bộ mã hóa và bộ giải mã có khả năng tự chú ý. Bộ mã hóa và giải mã trích xuất ý nghĩa từ một chuỗi văn bản và hiểu mối quan hệ giữa các từ và cụm từ trong đó.
LLM máy biến áp có khả năng đào tạo không giám sát, nhưng lời giải thích chính xác hơn là máy biến áp có thể thực hiện việc học tự chủ. Thông qua quá trình này, người chuyển đổi học cách hiểu ngữ pháp, ngôn ngữ và kiến thức cơ bản.
