De acordo com BlockBeats, em 28 de junho, a OpenAI disse que treinou um modelo baseado em GPT-4 chamado CriticGPT para capturar erros na saída do código ChatGPT. A OpenAI está começando a integrar modelos semelhantes ao CriticGPT em seu RLHF, fornecendo assistência explícita de IA aos treinadores da OpenAI. A OpenAI planeja expandir ainda mais a escala de aplicação do RLHF no GPT-4 e colocá-lo em prática.