Tether развивает компактные ИИ-модели для работы на устройстве

Tether продвигает семейство компактных моделей до ~4 млрд параметров (MedPsy, TranslatePsy, VisionPsy), которые работают локально на смартфонах без интернета. Компания делает ставку на квантование и специализированные датасеты Genesis III на 191 млрд токенов, а её QVAC SDK сжимает KV-кэш до 80%.

• Модели Tether до 4 млрд параметров запускаются на обычном смартфоне офлайн
• Датасет Genesis III содержит 191 млрд токенов по 19 STEM-направлениям
• QVAC SDK сжимает KV-кэш моделей до 80% через TurboQuant
• SDK добавила кластерный инференс для объединения нескольких устройств