StartLux открыла исходный код движка Prism для decision-моделей

Китайская команда StartLux выложила на GitHub движок вывода Prism, созданный специально для decision-моделей с побитово идентичным результатом. На одной H200 короткий вопрос обрабатывается за 19 мс вместо 53,1 мс, ускорение до 5,3x при трёх вопросах об одном материале.

• Сужение выходного слоя снижает вычисления до 0,01% от исходных
• На 231 вопросе JevBench Prism даёт 41 мс против 75,6 мс у SGLang
• Четыре H200 в data-parallel обрабатывают 121 запрос в секунду
• int8-сборка показала точность 92,94% против 92,97% у BF16