HPE Alletra X10000 ускорила инференс до 20 раз за счёт выгрузки KV-кэша

HPE предложила использовать СХД Alletra Storage MP X10000 для хранения KV-кэша, который иначе вытесняется из памяти GPU и пересчитывается заново. В тестах Kamiwaza на GPU Nvidia H200 с моделью Nemotron 70B и более 30 агентами время до первого токена сократилось до 20 раз, эффективная пропускная способность выросла в 17 раз.

• Тесты на Nvidia H200 и Nemotron 70B с более чем 30 одновременными агентами
• До 20× быстрее время до первого токена при выгрузке KV-кэша
• Эффективная пропускная способность инференса выше в 17 раз
• Ускорение зависит от длины контекста, параллельности и доли попаданий в кэш