Janas запускает 48-ГБ ИИ-модель на ноутбуке с 32 ГБ ОЗУ на 37 ток/с

Разработчик Маурицио Каммаллери выпустил Janas — движок на C, который стримит веса MoE-моделей с NVMe-накопителя через O_DIRECT, кэширует «горячих» экспертов и использует спекулятивный драфтинг. По собственным бенчмаркам, Qwen3-Next-80B (48,4 ГБ) выдаёт 37 ток/с на ноутбуке с 32 ГБ ОЗУ против 2,8 ток/с у llama.cpp.

• Qwen3-Next-80B: 62 ток/с чтение и 24 ток/с запись без драфтов на Core Ultra 9 185H
• Спекулятивный драфтинг поднял скорость записи с 24 до 37 ток/с
• Janas обошёл llama.cpp на всех 13 протестированных моделях в Q4_K_M
• llama.cpp на этой модели требовал спецсборки без repacking и давал 2,8 ток/с