За даними BlockBeats, 28 червня OpenAI заявив, що навчив модель на основі GPT-4 під назвою CriticGPT фіксувати помилки у виведеному коді ChatGPT. OpenAI починає інтегрувати моделі, подібні до CriticGPT, у свій RLHF, надаючи явну допомогу ШІ тренерам OpenAI. OpenAI планує ще більше розширити масштаб застосування RLHF на GPT-4 і застосувати його на практиці.