Препринт: откат PR от ИИ-агентов варьируется от 6,1% до 14,5% в зависимости от вендора

Препринт Техасского технологического университета проанализировал 37 623 PR из 2 807 репозиториев GitHub (декабрь 2024 — июль 2025). Доля откатов за 90 дней: Codex — 6,1%, Devin — 14,5%, Copilot — 12,5%, Cursor — 11,4%, Claude Code — 10,5% против 11,5% у людей. Разброс между агентами шире, чем разрыв между лучшим агентом и человеком.

• Codex: 6,1% откатов (n=17 756), Devin: 14,5% (n=2 185)
• Copilot: 12,5%, Cursor: 11,4%, Claude Code: 10,5% против 11,5% у людей
• ИИ-код реже содержал утечки секретов (OR 0,63), эффект только в крупных PR
• PR Claude Code ждали первого ревью дольше всех — медиана 12,6 часа