Aleph Alpha выложила открытые веса модели Kolibri на 78 млрд параметров

3 октября 2026 года немецкая Aleph Alpha опубликовала на Hugging Face веса модели Kolibri под лицензией Apache 2.0. Это MoE-модель на 78,1 млрд параметров (3,46 млрд активных на токен) для английского и немецкого с контекстом 262 144 токена, обученная на 20 трлн токенов на 768 GPU Nvidia B200.

• 78,1 млрд параметров всего, 3,46 млрд активных на токен, 50 слоёв и 384 эксперта
• Веса в FP8 занимают около 78 ГБ и требуют минимум 2x A100 80 ГБ или 1x H200
• Контекст 262 144 токена нативно, проверен до 1 048 576 токенов
• Обучение: 20 трлн токенов на 768 GPU B200 за 21 день, около 392 000 GPU-часов