RTX 4090 за $1600 обошла H100 в инференсе 125B-модели Qwen

Команда энтузиастов запустила 125-млрд модель Qwen 3.8 Flash Next на одной RTX 4090 и получила агрегатную пропускную способность около 100 T токенов/с. Достижение основано на int4-квантовании, спекулятивном декодировании с 4B-драфтером и CUDA-графах; стоимость 1 млн токенов упала до $0,00004.

• int4-квантование снизило потребление VRAM с 30+ ГБ до ~22 ГБ
• Спекулятивное декодирование с 4B-драфтером дало прирост ~20%
• Стоимость 1 млн токенов — $0,00004 против $0,00009 у H100
• Энергоэффективность ~285 Гтокенов/кВт·ч против ~240 у H100