據 BlockBeats 報道，6 月 28 日，OpenAI 表示，訓練了一個基於 GPT-4 的模型，名爲 CriticGPT，用於捕獲 ChatGPT 代碼輸出中的錯誤。OpenAI開始將類似於 CriticGPT 的模型集成到他們的 RLHF 中，爲 OpenAI 的培訓師提供明確的人工智能幫助。OpenAI計劃進一步擴大 RLHF 在 GPT-4 上的應用規模並付諸實踐。