据 Foresight News 报道,马斯克在推特上宣布,xAI 的 Grok 2 大模型将于 8 月推出,并将重点关注从互联网培训数据中「清扫」大语言模型(LLM)。

大型语言模型(LLM)是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络,这些神经网络由具有自注意力功能的编码器和解码器组成。编码器和解码器从一系列文本中提取含义,并理解其中的单词和短语之间的关系。

转换器 LLM 能够进行无监督的训练,但更精确的解释是转换器可以执行自主学习。通过此过程,转换器可学会理解基本的语法、语言和知识。