Xiaomi представила HySparse2 для MiMo-V3: двухуровневое KV-шаринг сокращает prefill FLOPs в 5 раз

Исследователи LLM-Core Xiaomi опубликовали на arXiv архитектуру HySparse2 — гибридное разреженное внимание с двухуровневым KV-шарингом для агентных нагрузок класса MiMo-V3. На моделях 80B-A3B MoE метод поднял MRCR-v2 и RULER-v2 на 11,30 и 19,81 п.п. против HySparse, а на 1M токенов сократил prefill FLOPs в 2,92 и 5,02 раза относительно HySparse и Hybrid SWA.

• HySparse2 делит backbone на self-decoder в стиле YOCO и cross-decoder
• KV Bridging связывает только слои полного внимания, KV Reuse работает на уровне токенов
• На 1M токенов prefill FLOPs падают в 2,92 и 5,02 раза против HySparse и Hybrid SWA
• FP8 KV-кэш сжимается до ~2,69 ГБ против 6,72 и 12,09 ГБ у базовых методов