PrismML и Qualcomm запустили 1-битную ИИ-модель Bonsai на очках Snapdragon AR1 Gen 1

PrismML представила 1-битную модель Bonsai на 2 млрд параметров, работающую локально на платформе Qualcomm Snapdragon AR1 Gen 1 для умных очков. Модель вмещает в 4 раза больше параметров при том же объёме памяти и генерирует токены более чем вдвое быстрее 4-битных аналогов.

• 1-битная Bonsai на 2 млрд параметров работает локально на Snapdragon AR1 Gen 1
• В 4 раза больше параметров при том же объёме памяти
• Генерация токенов более чем вдвое быстрее 4-битной модели
• Оптимизация под NPU Qualcomm Hexagon