llm-d 1.0 и планы Kubernetes по простаивающим GPU для ИИ

CNCF-проект llm-d достиг версии 1.0, связав PyTorch-разработчиков с production-стеком Kubernetes. AWS и HPE предложили автоматизацию перезапуска подов и согласование планировщика с автоскейлером, чтобы простаивающие GPU не тормозили ИИ-нагрузки.

• llm-d 1.0 вышел на PyTorch Conference North America
• В тесте IBM llm-d дал на 11,5x ниже стоимость инференса
• Кэш-реюз в демонстрации IBM достиг около 98%
• AWS предложила API для связи планировщика и автоскейлера