Reflection AI представила Beam: 501B параметров и контекст 1M токенов
Reflection AI анонсировала открытую MoE-модель Beam на 501B параметров (Apache 2.0, веса позже в октябре) с контекстом 1M токенов. Активных параметров на токен — 23B, для сервинга нужно ~500 ГБ памяти в 8-бит. Заявлена сопоставимая с GLM-5.2 точность при в 3–4 раза меньших вычислительных затратах.
- 501B параметров всего, 23B активных на токен при маршрутизации MoE
- Контекст 256K по умолчанию, 1M через расширение мидтрейнингом
- SWE-bench Verified 80,9 против 70,7 у Nemotron 3 Ultra
- Обучение: 23,8T токенов на 6144 GPU GB300 менее чем за 4 недели
Читать дальше
ИИ