OmniDR-Bench выявил 37% разрыв в обоснованности мультимодальных ИИ-агентов

Новый бенчмарк OmniDR-Bench проверяет, умеют ли мультимодальные агенты находить и подтверждать аудиовизуальные доказательства. Лучшая из 18 конфигураций набрала 63,3 из 100 по метрике обоснованности: презентация в среднем 81,8 балла, а содержание и цитирование — 45,4 и 47,8.

• Лучший результат среди 18 конфигураций агентов — 63,3 из 100 по метрике доказательств
• Презентация в среднем 81,8 балла против 45,4 за содержание и 47,8 за цитирование
• Бенчмарк требует найти клип, указать таймкод и обосновать ответ
• Авторы призывают считать оценку доказательств ключевой метрикой моделей