WUSH-KV: 2-битный кэш KV сокращает трафик памяти

Метод WUSH-KV хранит элементы ключей и значений в 2 битах, сохраняя перплексию на уровне или лучше других квантованных методов и близко к полной точности. Адаптивное преобразование ключей и встраивание преобразования значений в веса модели позволяют сократить трафик памяти пропорционально — с 16 до 2 бит.

• WUSH-KV хранит ключи и значения в 2 битах вместо обычных 16
• Метод даёт минимальную перплексию среди квантованных преобразований на всех битностях
• Преобразование значений встроено в веса модели, кэш не покидает 2-битный домен
• Требуется калибровка для вычисления преобразования ключей