Vambo AI выпустила MORENA — модель на 1,5 млрд параметров для 12 языков Африки

Vambo AI представила MORENA — языковую модель на 1,5 млрд параметров для 12 африканских языков, английского, французского и кода. На бенчмарке она набрала 1,408 bpb, обойдя 26 протестированных моделей, включая решения Google, Meta и Alibaba, при размере до 8 раз меньше конкурентов.

• MORENA набрала 1,408 bpb — лучший результат среди 26 моделей
• Ближайший конкурент Lugha-Llama-8B набрал 1,423 bpb при впятеро большем размере
• Токенизатор кодирует африканский текст в 1,39 раза компактнее Gemma 3
• Обучение заняло 251,7 млрд токенов и более 22 000 часов на A100