Theo BlockBeats, vào ngày 28 tháng 6, OpenAI cho biết họ đã đào tạo một mô hình dựa trên GPT-4 có tên CriticGPT để nắm bắt các lỗi trong đầu ra mã ChatGPT. OpenAI đang bắt đầu tích hợp các mô hình tương tự như CriticGPT vào RLHF của họ, cung cấp hỗ trợ AI rõ ràng cho những người đào tạo OpenAI. OpenAI có kế hoạch mở rộng hơn nữa quy mô ứng dụng RLHF trên GPT-4 và đưa nó vào thực tế.