Hugging Face добавила UltraBERT с раздельными rotary-эмбеддингами по слоям

В библиотеку Transformers от Hugging Face интегрировали модель UltraBERT, использующую две разные тета-настройки rotary-эмбеддингов: для локального и глобального внимания. Реализация через ModuleDict позволяет хранить и применять нужный эмбеддинг в зависимости от типа слоя, а также поддерживает Masked Language Modeling и Sequence Classification.

• UltraBERT использует два набора rotary-эмбеддингов: для локального и глобального внимания
• Реализация построена на ModuleDict с ключами local и global
• Модель добавлена в Transformers с конфигом и предобученными весами
• Поддержаны головы MLM и Sequence Classification