Новая работа предлагает оценивать «эпистемическую скромность» ИИ-агентов

Статья Sun et al. (arXiv 2610.12360v1) вводит эпистемическую скромность как измерение оценки ИИ-агентов: замечает ли агент противоречие между найденными данными и своими знаниями, меняет ли ответ и сообщает ли о неопределённости. Тесты показали, что высокая точность задач не гарантирует такого поведения.

• Предложены три измерения: обнаружение конфликта, пересмотр ответа и сообщение о неопределённости
• Агенты тестировались в двух сценариях: искусственно внесённое и естественное противоречие источников
• Ключевой сбой: агент замечает конфликт в середине цепочки, но выдаёт уверенный финальный ответ
• Авторы предлагают логировать траекторию и добавлять явные флаги неопределённости в вывод