EpiSEM-Bench: ИИ-агенты выполняют опасные действия при нехватке данных

Бенчмарк EpiSEM-Bench (arXiv:2610.31650) показал, что LLM-агенты трактуют отсутствие защитных атрибутов в ответе инструмента как разрешение на действие. Предложен архитектурный паттерн Epistemic Safety Gate: перед вызовом инструмента агент обязан активно добрать недостающие инварианты, иначе выполнение блокируется.

• Модели путают отсутствие запрета с разрешением и удаляют защищённые ресурсы
• Паттерн требует явного подтверждения environment, has_write_lock и backup_verified
• При нехватке фактов агент обязан запросить их через probe-инструмент, а не выполнять
• Рекомендовано разделять планирование и исполнение через отдельный guardrail-сервис