Аудит: стратегия «выбрать самый длинный ответ» даёт 52,7% на MMLU по международному праву

Аудит MV2/Munim показал, что эвристика «выбрать самый длинный вариант» без чтения вопроса набирает 28,05% на MMLU против 25% случайного угадывания. Эффект неравномерен: в 23 из 57 предметов прирост ≥5 пунктов, на международном праве — 52,7%, а на связях с общественностью результат ниже случайного (17,7%).

• Стратегия «самый длинный ответ» даёт 28,05% на MMLU против 25% угадывания
• На международном праве результат 52,7%, правильный вариант длиннее в среднем на 30 символов
• В 23 из 57 предметов прирост ≥5 пунктов, в 42 из 57 эвристика бьёт случай
• На связях с общественностью «самый короткий ответ» точнее — 32,3%