Kubernetes адаптируется под ИИ-агентов: один запрос человека — около 20 запросов агентов

CNCF отмечает, что Kubernetes становится базовым слоем для ИИ-агентов: один запрос человека порождает около 20 запросов агентов, которым нужен отклик менее 200 мс, тогда как запуск пода гарантирован лишь примерно за секунду. Для закрытия разрыва развивают проекты llm-d для распределённого инференса LLM и Agent Substrate для крупномасштабных развёртываний агентов.

• Один запрос человека превращается примерно в 20 запросов ИИ-агентов
• Агенты ждут отклик менее 200 мс, под Kubernetes стартует за ~1 секунду
• llm-d отвечает за распределённый инференс LLM в кластере
• Agent Substrate — рантайм для крупномасштабных развёртываний агентов