Аудит MMLU-Pro: подсказка по длине ответа усилилась вдвое

Аудит всех 12 032 вопросов MMLU-Pro показал, что позиционная подсказка «ответ D» устранена, но выбор самого длинного варианта даёт 18,38% против 11,09% случайного угадывания. 88,8% избытка дают 5 222 новых вопроса из сторонних источников, а не добавленные дистракторы.

• Позиция правильного ответа в MMLU-Pro равномерна: хи-квадрат 9,35 при пороге 27,88
• Выбор самого длинного варианта: 18,38% против 11,09% случайности
• В биологии подсказка даёт 44,61% при случайных 11,08%
• Новые вопросы — 43% бенчмарка, но 88,8% избытка длины