TokenSpeed: открытый движок инференса LLM для кодинг-агентов

LightSeek Foundation выпустила открытый (MIT) движок инференса TokenSpeed, нацеленный на производительность уровня TensorRT-LLM при удобстве vLLM. Он оптимизирован под агентные нагрузки: длинные контексты свыше 50K токенов и минимум ~70 токенов/с на пользователя. По заявлению команды, на Kimi K2.5 и NVIDIA B200 движок обошёл TensorRT-LLM на ~9% при batch size 1 и дал ~11% больше пропускной способности.

• Открытый движок под лицензией MIT от LightSeek Foundation
• Цель — производительность TensorRT-LLM при удобстве vLLM
• На Kimi K2.5 и B200: +9% при batch size 1, +11% пропускной способности
• До 580 токенов/с на Qwen3.5-397B-A17B в агентных задачах