Перепакованная QAT Gemma 4 на одном TPU v5e: 12B выдаёт 675 токенов/с

Разработчик перепаковал QAT-веса Google Gemma 4 для vLLM и запустил их на одном чипе TPU v5e с 15,75 ГБ HBM. Модель 12B занимает 11,31 ГБ весов и выдаёт 675 токенов/с при 16 запросах, набирая 0,964 на GSM8K и 0,955 на BFCL.

• 12B w8a8emb4: 11,31 ГБ весов, 675 токенов/с при 16 запросах
• На 3 880 записях репаки до 12B идут на уровне bf16, 26B — на 1,1 пункта ниже
• Репаки до 2,4 пункта выше 4-битных экспортов Google при той же скорости
• GSM8K: 0,964 (1272 из 1319), BFCL tool calling: 0,955