Meta AI вывела законы масштабирования для Looped MoE

Исследователи Meta AI опубликовали на arXiv первый математический фреймворк, объединяющий циклическое повторение слоёв и разреженность Mixture-of-Experts. При равных затратах на обучение Looped MoE по их законам догоняет по качеству рассуждений обычную MoE-модель примерно вдвое большего размера.

• Фреймворк Loop Scaling Laws предсказывает потери точнее альтернатив на разных размерах моделей
• Законы проверены на обучении с триллионом токенов
• При нулевой рекуррентности формулы сводятся к классическим законам MoE
• Looped MoE вдвое меньше по параметрам при сопоставимом качестве рассуждений