FlashMap ускоряет декодирование LLM до 6,14 раза без потери качества

Polymathic AI, Принстонский университет и партнёры выпустили FlashMap — драфтер спекулятивного декодирования на непрерывной потоковой карте, который за один проход предлагает блок из 16 токенов. На Qwen3-8B с драфтером на 0,5 млрд параметров достигнуто ускорение до 6,14 раза на GSM8K без потери качества. Веса Qwen3-8B и Qwen3-4B опубликованы на Hugging Face, есть плагины для vLLM и SGLang.

• Драфтер на 0,5 млрд параметров предлагает 16 токенов за один проход
• Ускорение до 6,14 раза на GSM8K при temperature 0
• Быстрее переобученного DFlash на всех 9 задачах Qwen3-8B
• Веса Apache-2.0, код MIT, плагины для vLLM 0.31 и SGLang 0.5.20