vLLM 0.32 добавила эндпоинт /v1/systemone для маршрутизации решений внутри движка

В vLLM 0.32 появился эндпоинт /v1/systemone (PR #59299), который выполняет выбор, boolean- и scoring-запросы прямо на движке вместо генерации JSON через HTTP. Это сохраняет KV-кэш и префиксный кэш, убирая повторный prefill и задержки при маршрутизации агентов.

• Эндпоинт /v1/systemone оценивает choice, boolean и scoring-запросы на движке
• Решение принимается без autoregressive-декода и спекулятивных буферов
• Префиксные токены остаются в PagedAttention, префиксный кэш попадает на 100%
• В релизе также NVFP4 KV-кэш и встроенные парсеры tool-call и reasoning от Hugging Face