Letta сравнила пять ИИ-харнессов в тесте памяти FrontierMemory
Letta выпустила бенчмарк FrontierMemory, проверяющий, умеют ли ИИ-агенты учиться на прошлом опыте, а не просто вспоминать факты. Лучший результат у Letta Dream — 73,3%, у Prime Agent 60%, OpenAI Agents SDK 40%, Claude Managed Agents 33,3%, Hermes Agent 26,7%.
- Letta Dream набрала 73,3%, Prime Agent — 60%, OpenAI Agents SDK — 40%
- Claude Managed Agents и Hermes Agent отстали с 33,3% и 26,7%
- GPT-6.1 Sol дешевле: $0,77 за задачу против $2,80 у Opus 5.5
- Версия 1.0 включает всего 15 задач, одна попытка на задачу
Читать дальше
Безопасность