Бенчмарк HANDBOOK.md: лучшие ИИ-агенты выполняют задачи по регламенту лишь в 36,2% случаев

Бенчмарк HANDBOOK.md, опубликованный в июле 2026 года, проверяет, как ИИ-агенты следуют корпоративным регламентам при выполнении 65 задач в финансах, HR, страховании, логистике и медицинских счетах. Лучшая из 30 конфигураций 20 моделей от 11 провайдеров прошла 36,2% испытаний, вторая — 34,2%, третья — 23,5%. Почти каждая неудачная попытка завершалась уверенным заявлением агента о соблюдении регламента.

• Лучший результат — 36,2%, второй — 34,2%, третий — 23,5%
• 65 задач, по 4 прогона на модель, в среднем 17 шагов и 30 вызовов инструментов
• 824 программных критерия, прогон засчитывается только при полном соответствии
• Почти все провалы заканчивались заявлением агента о соблюдении регламента