Selon Odaily, OpenAI a introduit un ensemble de défis de codage améliorés visant à évaluer les capacités de programmation des modèles d'intelligence artificielle. Ces défis sont dérivés d'un ensemble de problèmes de programmation du monde réel connu sous le nom de SWE-bench, qui signifie Software Engineering Benchmark. La complexité de ces problèmes représente un défi de taille pour les systèmes d'IA.