decider: языковая модель выдаёт типизированные решения за один проход
Представлена модель decider, которая не генерирует текст, а за один forward pass возвращает распределение вероятностей по заданным вариантам ответа. Веса под Apache 2.0: decider-2b решает за 18 мс, decider-35b-a3b — за 41 мс на B300 в bf16; на Decision Index 35B занял четвёртое место с 54,3, уступив Jev (59,5).
- Модель читает JSON-состояние и вопросы типов choice, score и noul, возвращая распределение без декодирования
- decider-2b: 18 мс на решение, decider-35b-a3b (3B активных): 41 мс на одном B300 в bf16
- На Decision Index 35B четвёртый с 54,3 против 59,5 у Jev; лучшая калибровка среди 32 участников (ECE 3,1)
- Ограничения: нет chain-of-thought, слабая калибровка 2B на сложных вопросах (ECE 0,30), только английский
Читать дальше
ИИ