DeepInfer обогнал vLLM по пропускной способности на 8 GPU B200

Энтузиасты собрали DeepInfer-server и через GPUStack запустили DeepSeek-V4.1-Flash на сервере с восемью NVIDIA B200 в конфигурации DP8+EP8. DeepInfer дал выше заявленную пропускную способность и меньшую межтокенную задержку, а vLLM — меньшее время до первого токена и лучший P95.

• Тест на 8 GPU B200, конфигурация DP8+EP8, модель DeepSeek-V4.1-Flash
• DeepInfer выиграл по пропускной способности и межтокенной задержке
• vLLM быстрее отдал первый токен и показал лучший P95
• DeepInfer-server — демонстрационный проект, не официальный сервис DeepSeek