QuantMLA: INT4-кэш удваивает пропускную способность внимания на длинном контексте

Метод QuantMLA с двухпутевым кэшем INT4/INT2 сжимает объединённый кэш содержимого и RoPE в 3,59 раза при окне 128 тыс. токенов и устраняет вытеснения памяти. На длинных последовательностях пропускная способность превышает BF16-базу более чем в 5 раз за счёт отказа от пересчёта при нехватке ёмкости, а не ускорения ядра внимания.

• Сжатие кэша в 3,59 раза при окне 128 тыс. токенов
• Более 5-кратный рост сквозной пропускной способности против BF16
• Выигрыш даёт отказ от пересчёта при нехватке ёмкости, а не ускорение ядра
• Позволяет разворачивать контекст от 8 тыс. токенов без нарушения SLA