DeepSeek показала Engram: таблица поиска вместо вычисления фактов

Команда, связанная с DeepSeek, представила модуль Engram из статьи «Conditional Memory via Scalable Lookup» (arXiv:2601.07372). Модель Engram-27B на 26,7 млрд параметров (3,8 млрд активных на токен) обходит MoE-базу того же размера: BBH +5,0, HumanEval +3,0, NIAH на 32K вырос с 84,2 до 97,0. Код открыт на GitHub.

• Engram-27B: 26,7 млрд параметров, 3,8 млрд активных на токен, как у MoE-базы
• BBH вырос с 50,9 до 55,9, HumanEval — с 37,8 до 40,8
• Multi-Query NIAH на 32K: 84,2 → 97,0 (+12,8)
• Паритет по perplexity при 82% FLOPs предобучения (41K против 50K шагов)