SlimWise ускорила декодирование MoE-моделей до 1,81× за счёт прунинга экспертов

Метод SlimWise прунит экспертов только на этапе декодирования, сохраняя полный KV-кэш префилла. На Qwen3.6-35B-A3B при отключении 50% экспертов пропускная способность декодирования выросла до 1,81×, а сквозное ускорение достигло 78% без заметной потери качества.

• Прунинг только на декодировании даёт до 1,81× пропускной способности при 50% экспертов
• Сквозное ускорение достигает 78% на типичных запросах
• Полный KV-кэш префилла передаётся декодеру без конвертации формата
• Метод проверен на двух MoE-моделях и трёх критериях прунинга