DeepSeek-V4.1-Flash на 763 млрд параметров запустили на одной GPU с 96 ГБ

Открытый движок deepseek-one-gpu обслуживает квантованную до Q2_K модель DeepSeek-V4.1-Flash (264,5 ГБ) на одной RTX PRO 6000 Blackwell с 96 ГБ VRAM и оперативной памятью сервера. Скорость — 63,11 токена/с на одного пользователя и 152,53 токена/с суммарно на восьми.

• На GPU держат 5 825 самых частых экспертов (69,5 ГиБ), остальные 9 535 — в RAM
• Одному пользователю нужно около 280 ГБ RAM, планировщик откажет при нехватке
• Привязка к NUMA-узлу GPU подняла скорость с 53 до 63 токенов/с
• HumanEval: 0,890 у движка против 0,982 у полной модели через API DeepSeek