REAL-Q: динамический градиентный спуск улучшил квантование LLM

Новый метод квантования REAL-Q от исследователей использует агрегированную матрицу Фишера и динамический блочный градиентный спуск вместо статичного гессиана GPTQ. На LLaMA-3.1-8B KL-дивергенция снизилась с 4,95 до 3,36, а на моделях Qwen3 — до 49% относительно GuidedQuant.

• KL-дивергенция на LLaMA-3.1-8B: 3,36 у REAL-Q против 4,95 у GPTQ
• На Qwen3 снижение KL-дивергенции до 49% относительно GuidedQuant
• Adam-шаг каждые 128 колонок корректирует накопленные ошибки квантования
• Метод работает при W4A16 без переобучения и смены инференс-движка