Aleph Alpha выпустила Kolibri — немецкую MoE-модель на 78,1 млрд параметров

Aleph Alpha 3 октября 2026 года выпустила открытую модель Kolibri: 78,1 млрд параметров, из которых на каждый токен активируется лишь 3,46 млрд (4,4%). Обучение прошло на 24 трлн токенов и 768 GPU Nvidia B200 в Германии и Финляндии, веса доступны под лицензией Apache 2.0.

• 78,1 млрд параметров, но лишь 3,46 млрд активны на токен (4,4%)
• Обучение: 24 трлн токенов на 768 GPU Nvidia B200 в Германии и Финляндии
• Веса открыты под Apache 2.0, технический отчёт на 189 страниц
• Токенизатор UniBPE экономит 11,2% токенов для немецкого против GPT-5