Moore Threads открыла код Megatron-MUSA-Titan для обучения MoE-моделей на своих GPU

Moore Threads выложила на GitHub Megatron-MUSA-Titan — инфраструктуру обучения моделей на своих GPU для MoE-моделей с триллионом параметров на кластерах свыше 10 000 ускорителей. Стек охватывает претрейн и reinforcement learning и совместим с кодом Megatron-LM без изменений.

• Проект рассчитан на MoE-модели с 1 трлн параметров и кластеры от 10 000 GPU Moore Threads
• Код совместим с Megatron-LM, slime и miles без правок благодаря torch_musa и MUSA C
• Поддерживаются блочное FP8-обучение, DeepEP и перекрытие коммуникаций с вычислениями
• В репозитории есть конфигурация претрейна 1T MoE в стиле Kimi-K2