POCKET-Darwin-180B: 180-млрд модель запустили на ноутбуке без GPU

VIDRAFT выпустила POCKET-Darwin-180B — сжатую 4-битную версию модели Darwin-180B-RSI, лидирующей в семи рейтингах Hugging Face. Сборка на 111 ГБ вместо 360 ГБ работает на ноутбуке с 8 ГБ VRAM и 32 ГБ RAM (4,17 токена/с) или на CPU-сервере (18,4–21 токен/с), сохраняя точность MMLU-Pro 87,65%.

• Размер сжатой модели — 111 ГБ (4-bit GGUF) против 360 ГБ в BF16
• На CPU-сервере с 16 потоками выдаёт 18,4–21,0 токена/с при пике памяти 78,8 ГБ
• На ноутбуке с RTX 5060 Laptop и 32 ГБ RAM — 4,17 токена/с
• Точность MMLU-Pro не изменилась: 87,65% против 87,65%