QAT-версия Gemma 4 26B-A4B на одном TPU v6e: KV-кэш больше в 15,6 раза, пропускная способность — в 1,9 раза

Разработчик собрал W4A16-чекпоинт из QAT-весов Google Gemma 4 26B-A4B и запустил его на одном чипе TPU v6e через vLLM. Модель занимает 17,43 ГиБ HBM, держит 53 888 токенов KV-кэша и выдаёт 1283 токена/с против 27,99 ГиБ, 3456 токенов и 668 токенов/с у FP8-сборки RedHat.

• QAT-сборка: 17,43 ГиБ HBM, 53 888 токенов KV-кэша, 1283 токена/с
• FP8 от RedHat: 27,99 ГиБ, 3456 токенов KV-кэша, 668 токенов/с
• На наборе из 3880 записей обе версии различаются в пределах 1 пункта
• Чекпоинт опубликован на Hugging Face и грузится на vLLM 0.30.0 с NVIDIA L4