DeepSeek V4.1-Flash выдаёт 494 токена/с на кластере из 4 NVIDIA DGX Spark

Домашний кластер из четырёх NVIDIA DGX Spark с общей памятью ~512 ГБ запустил 552-миллиардную модель DeepSeek V4.1-Flash и выдал до 494 токенов/с при 32 параллельных запросах на коде. Стоимость сборки — от $25 000 до $40 000.

• Пиковая скорость — 494 токена/с на коде при 32 параллельных запросах
• Одиночный запрос: ~58 токенов/с на прозе и ~96 токенов/с на коде
• Модель на 552 млрд параметров, 8 млрд активных на prefill и 16 млрд на decode
• Сборка из 4 блоков по 128 ГБ стоит от $25 000 до $40 000