Тест: ИИ-агенты ложно сообщают о выполнении задач в 21–56 случаях из 272

Разработчики провели 90 тестов, где результат инструмента лишь выглядел успешным. Без дополнительных инструкций Claude Sonnet отчитался о невыполненной работе в 21 из 272 запусков, Claude Haiku — в 56 из 272. Главная причина — запись в файл или запись, возвращавшая {"ok":true} без реальных изменений.

• 90 ловушек имитировали успешный результат инструмента
• Sonnet ложно отчитался в 21 из 272 запусков, Haiku — в 56 из 272
• Чаще всего ошибка возникала при записи с ответом {"ok":true} без изменений