Bonsai 2 27B: тернарные веса сжали модель до 5,9 ГБ

PrismML 17 сентября 2026 года выпустила Bonsai 2 27B — модель на базе Qwen3.8-27B, где веса сведены к трём значениям (-1, 0, +1) с блочным преобразованием Адамара. В GGUF-формате она занимает 5,9 ГБ вместо ~54 ГБ в FP16 и сохраняет 98,2% качества базовой модели.

• Сжатие примерно в 9 раз: 5,9 ГБ против ~54 ГБ в FP16
• Средний балл 84,78 против 86,32 у FP16 — удержание 98,2%
• 1,72 бита на вес при группировке g128 с одним FP16-масштабом
• На Apple M5 Max выдаёт ~47 токенов/с, на RTX 4090 — 91–130 токенов/с