Secondo BlockBeats, il 28 giugno OpenAI ha affermato di aver addestrato un modello basato su GPT-4 chiamato CriticGPT per acquisire errori nell'output del codice ChatGPT. OpenAI sta iniziando a integrare modelli simili a CriticGPT nel proprio RLHF, fornendo esplicita assistenza AI ai formatori di OpenAI. OpenAI prevede di espandere ulteriormente la scala di applicazione di RLHF su GPT-4 e di metterlo in pratica.