Bonsai 2 27B: модель Qwen3.8 сжали до 5,9 ГБ с сохранением 98,2% качества

Prism ML выпустила Ternary Bonsai 2 27B — сжатую до 5,9 ГБ версию Qwen3.8 на 27B с тернарными весами (1,76 бита на параметр). Заявлено сохранение 98,2% средней оценки, поддержка контекста 262K токенов, изображений и лицензия Apache 2.0; независимый анализ указывает на ограничения замеров.

• Файл 5,9 ГБ против 54 ГБ у FP16-оригинала — сжатие в 9,3 раза
• Средний балл 83,9 против 85,4 у полной модели, математика почти не пострадала
• На RTX 5090 — 129,9 токена/с, быстрее H100 с 113,9 токена/с
• Обработка контекста 262K токенов на M5 Pro занимает около 11 минут