Выбор самого длинного ответа даёт 67% на вопросах биологии и психологии MMLU-Pro

Аудит Munim, Inc. показал, что выбор самого длинного варианта без чтения вопроса даёт 66,7% на вопросах биологии и 67,0% на психологии из STEM-сайта в MMLU-Pro. Эти вопросы составляют треть набора и дают 85,8% всего эффекта подсказки длины.

• На вопросах биологии STEM-сайта выбор длиннейшего варианта даёт 66,7%
• На психологии тот же приём даёт 67,0% при шансе около 11%
• STEM-вопросы — треть MMLU-Pro и 85,8% эффекта подсказки длины
• Две из шести предсказанных гипотез не подтвердились: TheoremQA и SciBench