Kubernetes для ИИ-инференса: вопрос стоимости токена

Обзорная колонка The New Stack о трендах перед KubeCon NA 2026: Kubernetes всё чаще используют для продакшн-инференса ИИ, но его модель ресурсов не учитывает стоимость токена. Китайский China Merchants Bank объединил 99% ИИ-вычислений на Kubernetes, подняв утилизацию с 35% до 60% и снизив стоимость 1 млн токенов на 60%.

• China Merchants Bank: утилизация ускорителей выросла с 35% до 60%
• Стоимость обработки 1 млн токенов снижена на 60%
• Банк управляет пулом почти из 10 000 разнородных ускорителей
• Kubernetes v1.37 добавил альфа-функции безопасности хранилищ