Тест MTP на Mac Studio: +92% на плотной модели и −19% на MoE

Автор измерил спекулятивное декодирование MTP в oMLX на Mac Studio с M2 Ultra: генерация кода на плотной Qwen3.8-27B ускорилась на 92%, а проза на MoE-модели Ornith-1.5-35B-A3B замедлилась на 19%. Сам EAGLE-4 на Apple Silicon не запускается — нужны Linux и четыре GPU Nvidia.

• Qwen3.8-27B: код без thinking — 33,6 против 64,3 tok/s, ускорение 1,92x
• Ornith-1.5-35B-A3B: проза без thinking — 133,1 против 107,6 tok/s, замедление 0,81x
• EAGLE-4 требует Linux, 4 GPU Nvidia и CUDA 13, поддержки Metal и MLX нет
• При temperature 0 текст с MTP изменился в 7 из 8 тестов