Recall 95% в LongMemEval даёт лишь 80% верных ответов

Автор Graph-MIND сравнил метрики памяти ИИ-агентов на одних и тех же 500 вопросах LongMemEval: при recall_any@5 в 95,2% у agentmemory точность ответов составила 80,4%, а у Graph-MIND — 89,0% при ~3,4 тыс. токенов против ~16,5 тыс. Разница статистически значима (точный тест МакНемара, p = 3,3e-6).

• agentmemory: 95,2% R@5, но 80,4% верных ответов на 499 вопросах
• Graph-MIND: 89,0% точности при ~3,4 тыс. токенов против ~16,5 тыс.
• На мультисессионных вопросах разрыв максимален — 15 процентных пунктов
• Graph-MIND один был прав в 64 случаях, agentmemory — в 21