Разбор LSCBench: 2700 траекторий ИИ-агентов сверили с лидербордом

Бенчмарк LSCBench от NUS и команды Qwen содержит 150 реальных уязвимостей, разбитых на 450 задач по семи языкам, и 2700 траекторий шести фронтирных агентов. Пересчёт по catalog.json подтвердил цифры статьи почти во всех строках: лучший результат у Claude Fable 5 — 25,1% задач решены и функционально, и безопасно.

• Функционально задачи решаются в 73,6–92,2% случаев, безопасно — лишь в 16,4–25,1%
• Расхождение с таблицей статьи только у Kimi-K3: 92,2% против 91,3%
• 120 из 2700 прогонов (4,4%) завершились ошибкой, 15 из них всё равно прошли
• Поле reward сливает провал по безопасности и провал сборки в один ноль