Бенчмарк AI Professions: 1500 прогонов ChatGPT, Claude и Gemini на рабочих задачах

Портал AI Professions опубликовал открытый бенчмарк из 1500 оценённых прогонов: 100 промптов по десяти профессиям, 5 моделей, по 3 запуска на промпт и 5 критериев pass/fail, зафиксированных хешем до теста. Главный вывод — 71% провалов в первом раунде вызваны добавленным моделью контентом, которого не было во входных данных, а не фактическими ошибками.

• 78 из 110 провалов в раунде 1 — добавленный контент, лишь 24 — ошибки в фактах
• GPT-6 Astra набрал 99% против 92% у Claude Opus 5.5, но судьи были перекрёстными
• Claude Opus упал с 92% на английском/испанском до 79% на французском/португальском
• На задачах Excel счёт 83–93%, VLOOKUP дал 20 провалов вместо XLOOKUP