Vambo AI обучила модель MORENA на 12 африканских языках без реальных данных

Йоханнесбургская Vambo AI построила модель MORENA на 1,5 млрд параметров, охватывающую 12 африканских языков. Реальных текстов не хватало, поэтому большую часть данных синтезировали; обучение на 251,7 млрд токенов прошло на суперкомпьютере Leonardo через программу UNDP бесплатно.

• MORENA покрывает 12 языков: ChiShona, Kiswahili, Hausa, Yorùbá, Igbo, isiZulu и другие
• Обучение заняло 22 000 GPU-часов на A100, рыночная стоимость — $25–40 тыс.
• Модель показала 1,408 бит на байт — лучший результат среди 26 протестированных моделей
• Веса открыты по лицензии Apache 2.0, есть версии на 0,5 и 0,2 млрд параметров