Flint от Recursive: 40B MoE-модель для кода запускается на ноутбуке
Recursive выпустила 21 октября открытую модель Flint под Apache 2.0: 39,8 млрд параметров MoE при активации ~2,5 млрд на токен. Заявлено более 125 ток/с на MacBook Pro с M4 Pro и 150 ток/с на NVIDIA RTX Spark 64 ГБ; бенчмарки пока только собственные.
- 39,8 млрд параметров MoE, активируется ~2,5 млрд на токен
- 49 слоёв: 2 dense и 47 MoE по 256 экспертов, 6 активных
- Скорость: 125+ ток/с на M4 Pro, 150+ ток/с на RTX Spark 64 ГБ
- Квантованные файлы NVFP4 ~22,9 ГБ и int4 GGUF ~26 ГБ
Читать дальше
ИИ