VIDRAFT выпустила 180B MoE-модель для игрового ноутбука

VIDRAFT выложила POCKET-Darwin-180B-GGUF — 4-битную GGUF-версию 180B MoE-модели Darwin-180B-RSI. За счёт разреженной активации (10 из 512 экспертов, ~3B активных параметров) и потоковой загрузки весов с SSD через llama.cpp модель на 111 ГБ запускается на ноутбуке с 8 ГБ VRAM и 32 ГБ RAM со скоростью 4,17 токена/с.

• 4-битная квантизация сжала модель с 360 ГБ до ~111 ГБ в четырёх GGUF-файлах
• Активируются 10 из 512 экспертов — около 3B параметров на токен
• На ноутбуке с 8 ГБ VRAM и 32 ГБ RAM выдаёт 4,17 токена/с
• На CPU-сервере с 16 потоками — 18,4–21,0 токена/с при 78,8 ГБ памяти