Google Cloud выпустила llm-d 1.0 с кэш-осознанной маршрутизацией для TPU и GPU

Google Cloud представила стабильную версию llm-d 1.0 — открытого Kubernetes-стека для распределённого инференса на базе vLLM и SGLang. На бенчмарке в 17 000-узловом кластере GKE медианное время до первого токена снизилось более чем на 85%, а пропускная способность выросла в 2,4 раза на TPU Ironwood.

• Медианный TTFT снижен более чем на 85%, пропускная способность выросла в 2,4 раза
• Проект поддерживают Red Hat, IBM и Google, более 500 контрибьюторов из 25+ организаций
• Новые функции: multi-tenant QoS, zero-downtime обновления, async-инференс через Pub/Sub и Redis
• Поддержка NVIDIA, AMD, Intel GPU и TPU, лицензия Apache 2.0, статус CNCF Sandbox