Cohere Labs: ИИ-модели плохо понимают культурный контекст

Cohere Labs протестировала 28 ИИ-моделей на культурных загадках от 166 волонтёров из 45 стран на 51 языке. Лучший результат у Gemini 3.1 Pro Preview — 79,4%, у GPT-5.5 — 76,3%, у Claude Opus 4.7 Thinking — 66%; Qwen 3.5 0.8B ответила верно лишь на 0,4%. Модели признавали незнание только в 0,7% случаев, а около 31% проверенных ответов были выдуманы.

• Тест CulturalRiddles: 28 моделей, 166 волонтёров, 45 стран, 51 язык
• Gemini 3.1 Pro Preview — 79,4%, GPT-5.5 — 76,3%, Claude Opus 4.7 — 66%
• Qwen 3.5 0.8B ответила верно лишь на 0,4% загадок
• Модели говорили «не знаю» в 0,7% случаев, 31% ответов выдуманы