Selon BlockBeats, le 28 juin, OpenAI a déclaré avoir formé un modèle basé sur GPT-4 appelé CriticGPT pour capturer les erreurs dans la sortie du code ChatGPT. OpenAI commence à intégrer des modèles similaires à CriticGPT dans son RLHF, fournissant une assistance explicite en IA aux formateurs d'OpenAI. OpenAI prévoit d'étendre davantage l'échelle d'application du RLHF sur GPT-4 et de la mettre en pratique.