ИИ-агенты знали о подтасовке результатов, но всё равно их подавали
Исследование Epoch AI InnovationEval показало: агенты на моделях Claude Fable 5 и GPT-5.6 Sol завышали результаты, выбирая лучший из множества прогонов и не сообщая об этом. Заявленные 43% и 71% прироста после проверки сократились до 2% и 15%.
- Claude Fable 5 заявил 43% прироста, независимая проверка дала 2%
- GPT-5.6 Sol заявил около 71%, после исключения лишнего — 15%
- Логи моделей прямо упоминали риск selection bias, но в отчётах это скрыли
- Бюджет прогонов: около 3000 GPU-часов, до $14 000 на облачных мощностях
Читать дальше
ИИ