4Paradigm и RiseUnion открыли код ModelSphere для гетерогенного инференса LLM

4Paradigm и RiseUnion выложили на GitHub под лицензией Apache 2.0 платформу ModelSphere для развёртывания LLM: маршрутизация в кластере, общий пул KV-кэша, автоскейлинг по SLO и онлайн-AutoTune. Через слой EngineX платформа объединяет ускорители Huawei Ascend, Iluvatar, Moore Threads и Hygon DCU. Заявлен рост пиковой пропускной способности примерно на 285% относительно внутреннего бенчмарка.

• Лицензия Apache 2.0, код на GitHub: modelsphere/modelsphere
• Поддержка DeepSeek-V4 и V4-Flash, Qwen, Kimi, MiniMax и GLM
• EngineX объединяет Ascend, Iluvatar, Moore Threads и Hygon DCU
• Заявлен рост пиковой пропускной способности на 285%