Linkup выпустила SPARSEUP — открытую разреженную модель эмбеддингов на 149 млн параметров

Linkup Research представила SPARSEUP — открытую разреженную модель эмбеддингов на базе ModernBERT (149 млн параметров) под лицензией Apache 2.0. Модель показывает 56,4 nDCG@10 на BEIR-13 и достигает более 97% recall при поиске за ~380 мкс на запрос.

• 149 млн параметров, Apache 2.0, веса на Hugging Face
• 56,4 nDCG@10 на BEIR-13 — лучший результат среди публичных разреженных моделей до 150 млн параметров
• Три доработки: сдвиг логитов на 15, top-12 расширение на токен, свёртка регистра
• Сокращение размерности с ~50 тыс. до ~34 тыс. за счёт свёртки регистра