Tensormesh запустила платформу переиспользования KV-кэша для LLM

Tensormesh представила 14 октября 2026 года платформу для управления KV-кэшем при инференсе LLM на собственной инфраструктуре. Она переиспользует состояние между GPU-памятью, CPU-памятью и хранилищем, снижая повторную обработку промптов; в основе — открытый проект LMCache и метод CacheBlend.

• Платформа управляет KV-кэшем на уровнях GPU, CPU и хранилища
• CacheBlend ускоряет время до первого токена в 2,2–3,3 раза в тестах
• Пропускная способность выше в 2,8–5 раз против полного пересчёта KV
• Заявлены контроллеры для закрепления, сжатия и очистки кэша