Saskaņā ar Odaily, OpenAI ir ieviesis uzlabotu kodēšanas izaicinājumu kopumu, kura mērķis ir novērtēt mākslīgā intelekta modeļu programmēšanas iespējas. Šie izaicinājumi ir atvasināti no reālās pasaules programmēšanas problēmu kolekcijas, kas pazīstama kā SWE-bench, kas apzīmē Software Engineering Benchmark. Šo problēmu sarežģītība rada būtisku izaicinājumu AI sistēmām.