DeepSeek-V4.1-Flash на двух RTX PRO 6000: 763B MoE с экспертами в RAM

Инженеры запустили 763-миллиардную MoE-модель DeepSeek-V4.1-Flash на двух GPU RTX PRO 6000 Blackwell по 96 ГБ, вынеся 4608 из 15360 экспертов в оперативную память хоста. Расход VRAM упал до 72,4 ГБ на карту, что оставило место под KV-кэш; при 4 одновременных сессиях медиана составила 59 ток/с.

• 3-битный пакет EXL3 занимает 309,3 ГБ против 475,2 ГБ в FP4/FP8
• 4608 из 15360 экспертов вынесены в RAM хоста через UVA и PCIe
• 4 параллельные сессии: медиана 59 ток/с, p5 — 52 ток/с
• Штатный UVA-офлоад vLLM падал при инициализации и на первом запросе