ИИ-грейдеры Claude Code не видят неразрывный пробел в коде
Тест Driftproof показал, что ИИ-грейдеры в OpenEvals, Promptfoo, SkillEvaluator и Claude Code неверно оценивают код с неразрывным пробелом U+00A0: 4 из 36 верных решений без подсказки против 34 из 36 при явном списке скрытых символов. Грейдер Claude Code дал 0 из 6 с Haiku 5.5 и 1 из 6 с Sonnet 5.5, но 6 из 6, когда символ записан как \u00a0.
- Без подсказки грейдеры верно оценили 4 из 36 ответов, со списком символов — 34 из 36
- Грейдер Claude Code: 0 из 6 с Haiku 5.5 и 1 из 6 с Sonnet 5.5
- Запись U+00A0 как \u00a0 подняла результат обоих грейдеров до 6 из 6
- Патчи предложены в OpenEvals #293, Promptfoo #12005 и SkillEvaluator #242
Читать дальше
ИИ