SGLang прогнала бенчмарки DeepInfer и сравнялась с движком DeepSeek

Команда SGLang опубликовала замеры своего движка инференса против DeepInfer — открытого движка DeepSeek — на том же железе и с его же нагрузкой. На 4x GB300 и 4x B300 прирост prefill-пропускной способности достигает 1,04x, а шаг декодирования на 64x GB300 короче на 1,1–7,4%. В SGLang также интегрированы ядра DeepSeek: FlashMLA, DeepGEMM, DeepEP, DeepSelect, TileLang и серия Mega.

• Прирост prefill до 1,04x на 4x GB300 и 4x B300
• Декодирование на 64x GB300 быстрее на 1,1–7,4%
• В SGLang перенесены ядра FlashMLA, DeepGEMM, DeepEP и Mega
• Методики замера различаются: DeepInfer берёт ~9 батчей на GPU 0