Tsinghua открыла код AKV — системы кеширования KV для LLM-агентов на SGLang

Исследователи из Университета Цинхуа и CUHK открыли исходный код AKV — серверной системы для управления KV-кешем LLM-агентов на базе SGLang. Вместо суммаризации истории агенты отбрасывают выбранные записи кеша и переиспользуют остальные: средняя стоимость снижается на 27,7%, средний балл растёт на 1,7 пункта. Код под лицензией Apache-2.0.

• Средняя стоимость задачи ниже на 27,7%, средний балл выше на 1,7 пункта
• GPT-OSS-120B на SWE-bench Verified: цена задачи упала с 20,0 до 9,7 цента, балл вырос с 40,0 до 43,2
• Три операции кеша: Append, Drop и Repos с поворотом RoPE без пересчёта скрытых состояний
• Тесты на 8 GPU A800-80GB в BF16, API совместим с OpenAI