tehno24.ru
← ИИ
ИИ18 октября 2026, 11:23

Потеря качества при fp16-квантовании оказалась багом конвертера, а не архитектуры

Разбор показал, что падение качества fp16-квантования модели LaMa вызвано не чувствительностью архитектуры, а 16 тензорами running_var BatchNorm, превышающими максимум fp16 (65 504) и зажимаемыми конвертером. Исправление в две строки алгебры возвращает качество уровня fp32 при загрузке на 52% меньше.

Потеря качества при fp16-квантовании оказалась багом конвертера, а не архитектуры
#LaMa#ONNX
Читать дальше
ИИ

laya-compactor сокращает контекст RAG на 70% без потери качества ответов

ИИ

Laya на 421 млн параметров запустили в браузере: загрузка до 478 МБ

ИИ

DualQuant: 4-битное квантование LLM без калибровочных данных

ИИ

SoloQ: квантование без калибровки снижает затраты на инференс diffusion-LLM на 45%