Menurut BlockBeats, pada tanggal 28 Juni, OpenAI mengatakan pihaknya melatih model berbasis GPT-4 yang disebut CriticGPT untuk menangkap kesalahan dalam keluaran kode ChatGPT. OpenAI mulai mengintegrasikan model yang mirip dengan CriticGPT ke dalam RLHF mereka, memberikan bantuan AI secara eksplisit kepada pelatih OpenAI. OpenAI berencana untuk lebih memperluas skala penerapan RLHF pada GPT-4 dan mempraktikkannya.