MemTensor открыла исходный код моделей MemT 1.0 с памятью фиксированного размера

Китайская MemTensor выпустила и открыла исходный код семейства memory-native моделей MemT 1.0: Flash на 288 млрд параметров (17 млрд активных) и Nano на 36 млрд (3 млрд активных). Вместо полной истории в контексте модель записывает данные в память фиксированного размера, что ускоряет инференс в 1,86 раза при 128K и в 3,99 раза при 256K токенов истории.

• Flash: 288 млрд параметров, 17 млрд активных; Nano: 36 млрд и 3 млрд
• Ускорение инференса 1,86× при 128K и 3,99× при 256K токенов истории
• Память на 256K истории — около 40 МиБ против 5,06 ГиБ у полного контекста
• Веса на Hugging Face, код на GitHub; код под PolyForm noncommercial