Бенчмарк Memora показал, что память ИИ-агентов устаревает
Исследователи из Arizona State и University of Arizona представили бенчмарк Memora (статья «From Recall to Forgetting», Findings of ACL 2026), который измеряет не только точность запоминания, но и штраф за использование устаревших фактов. На симуляциях до 1991 сессии памяти агенты с явным хранилищем вдвое лучше LLM в задачах на припоминание (119,5 против 65,7 по FAMA), но хуже в рекомендациях и накапливают больше ошибок из-за устаревшей памяти по мере роста истории.
- Memora симулирует 10 персон на 155, 615 и 1991 сессии по ~16 реплик
- В квартальном режиме ~1171 операция с памятью: 63% добавлений, 18% обновлений, 19% удалений
- Агенты с памятью: 119,5 против 65,7 у LLM в припоминании по FAMA
- Штраф за устаревшую память у агентов растёт с 18,2 до 29,5 балла
Читать дальше
ИИ