Microsoft завершила предобучение модели MAI-Base-2 на 2,8 трлн параметров

Microsoft объявила о завершении предобучения MoE-модели MAI-Base-2 с 2,8 трлн общих и 80 млрд активных параметров. Обучение шло 38 дней на 16 000 GPU Nvidia GB200 и обработало 50 трлн токенов; компания оценивает свой подход в 4,2–12,3 раза эффективнее DeepSeek-V4-Pro-Base по вычислительным затратам.

• 2,8 трлн общих параметров, 80 млрд активных на каждый запрос
• 16 000 GPU Nvidia GB200, 38 дней, 50 трлн токенов
• 18% обучающей смеси — изображения, данных на 36% больше, чем у MAI-Base-1
• Веса будут лицензировать партнёрам через Microsoft Foundry, не публиковать