180B-модель Darwin запустили на ноутбуке без GPU в 4-битном GGUF

Сборка POCKET-Darwin-180B-GGUF на 111 ГБ запускает 180-миллиардную MoE-модель Darwin-180B-RSI на CPU: серверный процессор с 16 потоками выдаёт 18,4–21 токен/с, ноутбук с RTX 5060 и 32 ГБ ОЗУ — 4,17 токен/с. На MMLU-Pro квантованная версия показала те же 87,65%, что и оригинал.

• Размер 4-битной сборки — 111 ГБ против 360 ГБ в BF16
• На MMLU-Pro обе версии набрали 87,65% на 2000 вопросах
• Серверный CPU (16 потоков) даёт 18,4–21 токен/с при пике памяти 78,8 ГБ
• На SuperGPQA квантованная сборка набрала 61,55% против 59,10% у базовой