Разбор: ускорение сэмплера SGLang на 75% не работает для чат-запросов Qwen3

В SGLang v0.5.20 девятистрочная замена multinomial на трюк Gumbel-max даёт +75% декодирования при batch 1 и +23% при batch 32, но только на «простом» пути сэмплинга. Если хотя бы один запрос в батче задаёт top_k, top_p или min_p, весь батч уходит на медленный фильтрованный путь, а generation_config.json моделей Qwen3 задаёт top_k и top_p по умолчанию для /v1/chat/completions.

• Замена multinomial на Gumbel-max ускоряет декод на 75% при batch 1 и на 23% при batch 32
• Один запрос с top_k, top_p или min_p переводит весь батч на фильтрованный путь
• Флаги батча сохраняются после завершения запроса до полного опустошения батча
• Переключатель SGLANG_OPT_USE_GUMBEL_SAMPLE включён по умолчанию