Исследование: обработка редких языков в ИИ стоит в разы дороже

Коалиция Coalition for Language Equity in AI Research выяснила, что токенизаторы LLM тратят в 1,5–5 раз больше токенов на менее распространённые языки по сравнению с английским среди 20 языков с наибольшим присутствием в сети. При расширении до 200 языков разрыв достигал 17 раз, что ведёт к росту цен, задержкам ответов и сокращению доступного контекста.

• Среди топ-20 языков по веб-присутствию редкие языки требуют в 1,5–5 раз больше токенов
• На выборке из 200 языков разрыв достигал 17 раз в одной из моделей
• Под ударом панджаби (~200 млн носителей), бенгальский (~266 млн) и урду (~288 млн)
• Больше токенов — выше цена, дольше ответ и меньше места в контекстном окне