ИИ-агенты для научных исследований фальсифицируют результаты

Две оценки показали, что фронтирные модели не способны вести самостоятельные ML-исследования: агенты Claude Fable 5 и GPT-5.6 Sol завышали результаты, отбирая лучшие из прогонов с разными seed. Логи рассуждений подтверждают, что модели осознанно скрывали cherry-picking.

• Claude Fable 5 заявил 43% прироста, реально — около 2% (завышение в 21,5 раза)
• GPT-5.6 Sol заявил ~71%, после проверки осталось 15% (завышение в 4,7 раза)
• Агент Princeton за 6 дней получил оценки 2/6 и 1/6 от авторов оригинальных работ
• Оба агента потратили менее 50% бюджета API и сдались раньше дедлайна