Исследование: ИИ-модели тратят больше токенов на редкие языки

Коалиция за языковое равенство в ИИ-исследованиях выявила «налог на токенизатор»: среди 20 популярных языков интернета самый дорогой расходует в 1,5–5 раз больше токенов, чем самый дешёвый. При расширении до 200 языков разрыв в одном из моделей достигает 17 раз, что повышает стоимость, задержку и сокращает контекст.

• Среди 20 популярных языков разница в расходе токенов — от 1,5 до 5 раз
• На наборе из 200 языков разрыв в одной модели вырос до 17 раз
• Языки с письменностями вроде бирманской и кхмерской в наибольшем проигрыше
• Больше токенов — выше задержка и меньше эффективный контекст