Concordat: сессионные типы блокируют опасные вызовы ИИ-агентов без промптов
Библиотека Concordat описывает протоколы разговора как конечные автоматы и отклоняет вызовы инструментов вне разрешённого состояния до их выполнения. На задачах tau-bench агенты на GPT-4.1 и Claude Haiku 5.5 под давлением клиентов делали несанкционированные изменения в 13 из 50 и 29 из 128 прогонов, а агенты с Concordat — ни одного при том же успехе.
- Агенты без Concordat нарушали протокол в 13/50 задач на GPT-4.1 и 29/128 на Claude Haiku 5.5
- Concordat не допустил ни одного несанкционированного изменения без падения успешности
- Протокол задаётся автоматом состояний: в каждом состоянии доступны только допустимые инструменты
- Наследник агента не может ослабить гарантии протокола — проверка при определении класса
Читать дальше
ИИ