Metis выпустила открытые модели MemT 1.0 с нативной памятью

Metis открыла исходный код серии MemT 1.0 — моделей с постоянной обновляемой внутренней памятью. MemT-1.0-Flash (288 млрд параметров, 17 млрд активных) и MemT-1.0-Nano (36 млрд, 3 млрд активных) набрали 50,6 и 47,0 балла в среднем по 11 бенчмаркам памяти, заняв первое и второе места среди параметрических методов.

• MemT-1.0-Flash: 288 млрд параметров, 17 млрд активных
• MemT-1.0-Nano: 36 млрд параметров, 3 млрд активных
• Средние 50,6 и 47,0 балла на 11 бенчмарках памяти
• Обучение на корпусе в 34 млрд токенов