Тест: неанглийские промпты дороже в токенах у большинства LLM

Тест на Habr сравнил 11 токенизаторов на параллельных текстах на русском и английском. У Claude Opus 5 русский текст требует в 2,96 раза больше токенов, у GPT-5.x — в 1,19 раза, а YandexGPT 5 Lite и GigaChat 3 тратят на русский меньше токенов, чем на английский.

• Claude Opus 5: русский текст — 2,96x токенов, техническая статья 872 против 327
• GPT-5.x (o200k) — 1,19x, Gemini 3.7 Flash — 1,20x, DeepSeek V3/V4 — 1,38x
• YandexGPT 5 Lite (0,91x) и GigaChat 3 (0,96x) дешевле на русском, чем на английском
• При цене $5 за млн токенов русский промпт на Claude Opus 5 дороже в 3,9 раза, чем на GPT-5.5