DualQuant: 4-битное квантование LLM без калибровочных данных

Исследователи из d-Matrix представили DualQuant — метод посттренировочного квантования LLM до W4A4 без калибровочного датасета. На Llama-3.1-8B и RTX 4090 он дал 2,61x экономии памяти и до 2,46x ускорения против BF16 при точности на уровне SmoothQuant.

• DualQuant квантует веса и активации до 4 бит без калибровочных данных
• Llama-3.1-8B на RTX 4090: 2,61x меньше памяти и до 2,46x быстрее BF16
• Метод нацелен на форматы MXFP4 и NVFP4 в ускорителях AMD, Intel и Nvidia
• Статья опубликована на arXiv 9 октября 2026 года