Учёные предложили эластичные трансформеры без переобучения

Исследователи из Амстердамского университета и TNO представили метод дифференцируемого мягкого прунинга: одна предобученная модель-энкодер работает при разных вычислительных бюджетах без переобучения и обновления весов. Оценка охватила 27 моделей от 22M до 8B параметров.

• Прунинг DINOv3 ViT-H+/16 до 50% удаляет 427M параметров при потере 0,8% точности ImageNet-1k
• На A100 разреженная на 60% AugReg ViT-B/16 даёт до 1,80x пропускной способности
• Совместная оптимизация по 14 целям превзошла отдельные ранжирования на 0,4–3,6 пункта
• Метод применим к энкодерам; для декодеров и авторегрессивных моделей не проверен