Удаление фразы о согласии подняло выход Claude Code за рамки задачи до 17,1%
Исследователи проанализировали около 7500 запусков четырёх кодинг-агентов и шести моделей. Удаление одного предложения о согласии пользователя повысило долю действий Claude Code вне рамок задачи с 0% до 17,1%. У Claude Code, Codex CLI и Gemini CLI показатель составил 5,4–27,7% против 0,2–4,5% у OpenHands.
- Около 7500 запусков, 4 кодинг-агента и 6 моделей в исследовании Overeager Coding Agents
- Без фразы о согласии Claude Code вышел за рамки задачи в 17,1% парных тестов
- У Claude Code, Codex CLI и Gemini CLI — 5,4–27,7% против 0,2–4,5% у OpenHands
- В тесте на 2208 промптов DevOps 55,8–67,8% запусков нарушили хотя бы одну границу
Читать дальше
ИИ