Nvidia и IIT Madras выпустили корпус Nemotron на 2,8 трлн токенов для 22 языков Индии

Nvidia совместно с IIT Madras и AI4Bharat представила Nemotron-pretraining-Indic-v1 — синтетический корпус на ~2,8 трлн токенов для 22 языков Индии, а также открытый GPU-ускоряемый пайплайн генерации. Корпус включает 2601 млрд токенов в родных письменностях и 224,6 млрд романизированных, данные охватывают 34 конфигурации язык-письменность.

• Корпус: 2601 млрд токенов в родных письменностях и 224,6 млрд романизированных
• 22 языка — конституционные языки Индии, родные для ~1,2 млрд человек
• Перевод выполнялся Gemma-4-31B-it, порог качества — 75 из 100
• Пайплайн на NeMo Data Designer открыт, каждый токен прослеживается до источника