laya-compactor сокращает контекст RAG на 70% без потери качества ответов

Вышел открытый инструмент laya-compactor, который локально отбирает релевантные документы в RAG-пайплайне одним прямым проходом модели. На SQuAD точность ответов не изменилась (EM 0.345), токены сократились на 69,7%; на HotpotQA сохранено 94,5% нужных документов при экономии 70,3% токенов.

• Сокращение входных токенов на 70% при том же exact match на SQuAD (0.345)
• На HotpotQA сохранено 94,5% золотых документов, EM упал с 0.230 до 0.200
• Работает локально и бесплатно, в отличие от API OpenAI Decisions и TypeSafe Jev
• Есть интеграции с LangChain и LlamaIndex, установка через pip install laya-compactor