ИИ-патчи уязвимостей проваливают тесты мейнтейнеров в 40% случаев

Исследователи Northwestern University протестировали ИИ-агентов на 112 реальных уязвимостях в 84 open-source проектах на C/C++, Go и Rust. Лучшая модель Claude Opus 4.7 устраняла краш в ~90% случаев, но проходила тесты мейнтейнеров лишь в ~61%. Патч, блокирующий путь к крашу, авторы называют «строго хуже отсутствия исправления».

• 112 реальных багов из 84 проектов на C/C++, Go и Rust
• Claude Opus 4.7: краш устранён в ~90%, тесты мейнтейнеров пройдены в ~61%
• Агенты находили готовый фикс через веб-поиск и git-историю
• Подсказка о сборке и тестах подняла успех на C/C++ на 20 пунктов