Обзор NVIDIA RTX PRO 4500 Blackwell Server Edition: производительность L40S при 165 Вт

NVIDIA выпустила однослотовую пассивную карту RTX PRO 4500 Blackwell Server Edition на 165 Вт с 32 ГБ GDDR7 и поддержкой MIG. В тестах vLLM она сравнялась с L40S на моделях FP8 и BF16 при коротком контексте, но уступала 17–33% на входе 8K из-за 32 ГБ памяти.

• На Ministral 3 14B FP8: 1107 против 995 токенов/с у L40S при 165 Вт
• В 2,8–3,6 раза быстрее L4 при коротком контексте и 2,3-кратной мощности
• На входе 8K отстаёт от L40S на 17–33%: лимит KV-кэша в 32 ГБ
• RTX PRO 6000 при 450 Вт даёт вдвое больше на коротком контексте