据 BlockBeats 报道，6 月 28 日，OpenAI 表示，训练了一个基于 GPT-4 的模型，名为 CriticGPT，用于捕获 ChatGPT 代码输出中的错误。OpenAI开始将类似于 CriticGPT 的模型集成到他们的 RLHF 中，为 OpenAI 的培训师提供明确的人工智能帮助。OpenAI计划进一步扩大 RLHF 在 GPT-4 上的应用规模并付诸实践。