KV-кэш для ИИ переезжает на SSD, но стандарта для накопителей нет

Huawei OceanStor M900 и Nvidia CMX выносят переиспользуемый KV-кэш инференса в отдельный общий уровень хранения, но единой спецификации SSD для этих данных пока нет. Рост hit rate с 90% до 95% вдвое снижает долю пересчёта, однако требует хранить больше истории с разным сроком жизни — от минут до недель.

• Huawei OceanStor M900 и Nvidia CMX выносят KV-кэш в отдельный общий уровень
• Рост hit rate с 90% до 95% сокращает долю пересчёта с 10% до 5%
• Замена DRAM на SSD идёт в пропорции 1:N, иногда 1:5 или 1:10
• Требования к износу менялись с 3 до 9 DWPD; консенсус ждут через 6–12 месяцев