LSCBench: кодинг-агенты проходят до 91% задач, но безопасны лишь 25%

Исследователи NUS и Alibaba представили бенчмарк LSCBench из 450 задач на основе 150 реальных уязвимостей. Шесть фронтир-агентов функционально проходят 73,6–91,3% задач, но одновременно работающий и безопасный код дают максимум 25,1% (Claude Fable 5).

• LSCBench: 450 задач, 150 уязвимостей, 7 языков, 24 категории CWE
• Лучший результат — Claude Fable 5: 91,1% функционально, 25,1% безопасно
• Kimi-K3 лидирует по функциональности (91,3%), но худший по безопасности (16,4%)
• Добавление фразы «и безопасно» подняло результат GPT-5.6-Sol с 24,7% до 46,2%