HotKV сократил расход токенов Claude на 70% в тесте Banking77

Семантический кэш HotKV снизил число вызовов моделей, токены и стоимость API примерно на 70% на четырёх моделях Claude в тесте на 3000 запросах поддержки из Banking77. Около 39% ответов пришло из точного совпадения и 31% из семантического, но при пороге сходства 0,81 кэшированные ответы подходили к вопросу на 5,8–10,7 п.п. реже свежих.

• Вызовы упали с 12 000 до 3588, токены — на 70,1%, стоимость — на 69,6%
• Около 39% запросов закрыл точный кэш, ещё 31% — семантический
• Медианное время ответа снизилось с 1,4–2,9 с до 125–128 мс
• При пороге 0,81 доля попаданий в верный интент составила 96,7–96,8%