SparseEngine объединила 15 методов разреженного внимания в одном движке

Опубликован SparseEngine — движок вывода LLM с абстракцией KV-кэша в центре, поддерживающий 15 методов разреженного внимания из четырёх семейств. По данным статьи arXiv:2609.39068v1, с SnapKV он даёт около 10x агрегатной пропускной способности декодирования против vanilla vLLM, с Quest и OmniKV — 1,5–2,6x при совпадающих размерах батча. Код открыт под Apache-2.0.

• 15 методов разреженного внимания из четырёх семейств в одном движке
• Около 10x пропускной способности декодирования против vanilla vLLM с SnapKV
• 1,5–2,6x с Quest и OmniKV при совпадающих размерах батча
• Chain Cache позволяет возобновлять работу из сжатой истории в многоходовых задачах