MemT-1.0: нативная память в архитектуре модели ускоряет инференс в 1,86 раза

Команда MemTensor представила MemT-1.0 (arXiv:2610.26825) — архитектуру, встраивающую обновление состояния памяти прямо в вычислительный граф модели вместо внешнего хранилища контекста. Модели MemT-1.0-Nano (36 млрд параметров, 3 млрд активных) и MemT-1.0-Flash (288 млрд, 17 млрд активных) обучены на 34 млрд токенов; при истории 128K токенов Nano даёт ускорение инференса примерно в 1,86 раза и снижение затрат на постоянное хранение в 66 раз.

• MemT-1.0-Nano: 36 млрд параметров, 3 млрд активных, 10 млн динамической памяти
• MemT-1.0-Flash: 288 млрд параметров, 17 млрд активных, 336 млн динамической памяти
• При 128K токенов истории — ускорение инференса ~1,86x и −66x затрат на хранение
• На SWE-bench Verified и Multilingual внутренняя память повысила стабильность результатов