Ai2 выпустила Olmo-core 3 — фреймворк обучения MoE-моделей

Allen Institute for AI открыла исходный код Olmo-core 3 под лицензией Apache 2.0. Фреймворк заменил fully sharded data parallelism на distributed data parallelism: MoE-модель на 47 млрд параметров выдаёт около 52 000 токенов/с на GPU против 19 400 ранее (рост в 2,7 раза), а рост пула экспертов с 8 до 128 снижает пропускную способность менее чем на 5%.

• Релиз от 1 октября 2026 года, код на Apache 2.0, установка через PyPI как ai2-olmo-core
• 47 млрд параметров: 52 000 токенов/с на GPU против 19 400 у прошлой версии на 8 GPU Nvidia B300
• Пул экспертов с 8 до 128 при ~3,2 млрд активных параметров снижает пропускную способность менее чем на 5%
• Замеры от 12,9 млрд параметров на 16 GPU до 1,2 трлн параметров на 512 GPU