OpenAI показала, как тесты бенчмарков искажают оценку кода ИИ

OpenAI разобрала проблемы SWE-bench: 68,3% задач отсеяли при чистке, а в 59,4% проверенных задач SWE-bench Verified нашли дефекты тестов или описания. В феврале 2026 года компания отказалась публиковать результаты Verified и рекомендует SWE-bench Pro.

• 38,3% задач SWE-bench сочли недоописанными, 61,1% — с несправедливыми тестами
• После чистки 500 задач счёт GPT-4o вырос с 16% до 33,2%
• В 59,4% из 138 проверенных задач Verified нашли дефекты тестов или описания
• В SWE-Lancer Claude 3.5 Sonnet заработал $403 тыс. из $1 млн, решив 21,1% задач с e2e-тестами