llm-d 1.0 снижает стоимость инференса ИИ на 5–10 раз

Открытый проект llm-d, основанный Red Hat, IBM, Google Cloud, CoreWeave и Nvidia и перешедший под управление CNCF, выпустил версию 1.0. В бенчмарке на NVIDIA GPU модель GLM 5.2 с 753 млрд параметров выдала более 6,6 млн токенов в минуту и обслужила до 3000 кодинг-агентов без прерываний, а стоимость инференса оказалась в 5–10 раз ниже коммерческих API.

• GLM 5.2 на 753 млрд параметров выдала 6,6 млн токенов в минуту на NVIDIA GPU
• До 3000 одновременных кодинг-агентов без прерываний
• Стоимость инференса в 5–10 раз ниже коммерческих API
• В IBM Research инференс оказался в 11,5 раза дешевле при кэш-хите 98%