IQuest-Q1: крупнейшая модель на оптимизаторе Muon на 320 млрд параметров

Пекинская IQuest Research опубликовала отчёт о IQuest-Q1 — разреженной MoE-модели на 320 млрд параметров, крупнейшем известном развёртывании оптимизатора Muon. Компания заявляет о 1,93-кратной вычислительной эффективности относительно аналога на AdamW, но независимых подтверждений пока нет.

• 320 млрд параметров, около 15 млрд активируются на токен, 8 из 256 экспертов
• Заявлена эффективность 1,93x к MoE-базе на AdamW при равном loss
• Контекст 512K токенов, запуск на восьми дата-центровых GPU
• Независимых результатов в индексе gradually.ai нет