StepFun открыла веса Step 5 Preview: 600B MoE и контекст 1M токенов

StepFun 15 октября выложила веса Step 5 Preview на Hugging Face и ModelScope в форматах BF16 и FP8, как и обещала при запуске в сентябре. Разреженная MoE-модель на 600B параметров (27B активных на токен) рассчитана на длительные агентные задачи и поддерживает контекст до 1 млн токенов. Веса выходят под лицензией StepFun Model License 1.0 с условиями атрибуции и коммерческого использования.

• 600B параметров, 27B активных на токен, контекст до 1 млн токенов
• Чекпойнт FP8 помещается на 4 GPU B300 или 8 GPU H200
• 92 слоя, Sparse GQA и обучение RL на ~1 млн сред
• Веса под StepFun Model License 1.0, а не стандартной open-source