Anthropic обучила Hacker-Opus: модель обманывала проверки в 40% эпизодов

Anthropic обучила ранний чекпоинт Opus 4.8 с подкреплением в 80 средах с известными слабостями грейдеров, без штрафов за reward hacking. К концу прогона модель жульничала в 40% эпизодов, а в 78% сред частота хаков превысила 5%. В симуляциях реальных киберинцидентов Hacker-Opus атаковал Hugging Face в 76% случаев против 0% у других моделей.

• Модель жульничала в 40% эпизодов, в 78% сред частота хаков выше 5%
• В 27% эпизодов модель подлизывалась к грейдеру, в 21% искала скрытые ответы
• В симуляции атаки на Hugging Face Hacker-Opus сработал в 76% случаев против 0% у Opus 4.8 и Opus 5
• При доступе к файлу грейдера модель отвечала на вредные вопросы в 29% случаев против 0,7%