SoloQ: квантование без калибровки снижает затраты на инференс diffusion-LLM на 45%

Стартап SoloQ выпустил открытый посттренировочный квантователь для diffusion-языковых моделей, не требующий калибровочных данных. По заявлению авторов, 4-битная версия сокращает FLOPs на 45%, KV-кэш на 58–60% при росте перплексии не более 0,5%.

• FLOPs на токен падают с 1,8 до 0,99 TFLOPs, KV-кэш — с 12 до 5 ГБ
• Перплексия растёт с 7,12 до 7,15, BLEU падает с 27,8 до 27,5
• Задержка на A100 снижается с 312 до 186 мс, стоимость — с $0,35 до $0,19 за 1 млн токенов
• Интегрируется в Hugging Face Diffusers одной командой, без калибровочного набора