China Telecom открыла исходники агентной MoE-модели Xing4.0-29B-A4B на Ascend

China Telecom выложила на Hugging Face и ModelScope веса и конфиги Xing4.0-29B-A4B — агентной MoE-модели на 29 млрд параметров (около 4 млрд активных на токен). Это первая модель такого масштаба, полностью обученная на NPU Ascend 910C с фреймворком MindSpore; заявлен рост пропускной способности обучения примерно на 96%.

• 29 млрд параметров, около 4 млрд активных на токен, 64 эксперта MoE
• Контекст 256K с расширением до 512K, 40 слоёв, внимание MLA
• Обучение на кластерах Ascend 910C через MindSpore/MindFormers
• Поддержка vLLM, SGLang, KTransformers и файнтюнинга в LLaMA-Factory