Jevstiller: открытый инструмент дистиллирует Jev для локального запуска

Вышел открытый проект Jevstiller, который дистиллирует ответы Jev в небольшую локальную модель. Знакомые запросы обрабатываются на устройстве за 15 мс вместо ~300 мс и без расхода токенов, а неопределённые уходят на серверы Jev; заявленное согласие с Jev — 98%.

• Локальные ответы за 15 мс против ~300 мс у Jev
• Экономия: не тратятся токены по $42 за млрд входных
• 2% запросов всегда уходят в Jev для аудита согласия
• В тесте после смены ответов Jev доля локальных упала с 90% до 9% за 4 минуты