RTX 3090 ускорили в 4,6 раза на 27B-модели за счёт оптимизаций инференса

Разработчик под ником u/iamMess запустил Qwen3.8-27B на RTX 3090 и поднял генерацию токенов с 82 до 382 ток/с на задаче с документом на 25 тыс. токенов. Ускорение дали спекулятивное декодирование, MTP и драфтер lookup; в обычном чате скорость около 133 ток/с, точность на математическом бенчмарке осталась 96,5%.

• Скорость выросла с 82 до 382 ток/с на документе в 25 тыс. токенов
• MTP поднял генерацию до 114 ток/с, DFlash2 и lookup — до 138 ток/с
• Движок проверяет 16 токенов за шаг, на цитатах принимается около 15
• Контекст расширен до 138 696 токенов сжатым форматом памяти