llm-d 1.0 от IBM и Red Hat добавил управление инференсом ИИ

Проект llm-d под руководством IBM, Red Hat и Google выпустил версию 1.0 распределённого фреймворка инференса ИИ для Kubernetes. Добавлены QoS для нескольких арендаторов, обновления без простоя и маршрутизация с переиспользованием кэша; в тесте IBM и Red Hat запустили 3000 агентов в 5–10 раз дешевле хостинга.

• Версия 1.0 добавила QoS, zero-downtime обновления и шаблоны для ИИ-агентов
• Роутер захватил 97% доступного переиспользования кэша в тесте агентного кодинга
• 3000 агентов работали одновременно в 5–10 раз дешевле хостингового сервиса
• Проект поддерживают IBM, Red Hat, Google, Nvidia, AMD, Intel и Mistral