Аудит: на OpenBookQA выбор самого длинного ответа даёт 43% против 25% случайных

Аудит 51 бенчмарков показал, что на OpenBookQA правило «выбирай самый длинный вариант» даёт 43,35% при случайном базисе 25%, то есть 1,7-кратный прирост без понимания вопроса. На ARC-Easy и ARC-Challenge такого преимущества нет: 24,9% и 27,8% при том же базисе.

• OpenBookQA: 43,35% у правила «самый длинный» против 25% случайного выбора
• ARC-Easy — 24,9%, ARC-Challenge — 27,8%, то есть на уровне случайного угадывания
• В ARC золотой ответ уникально длиннее лишь в 20,5–22,4% случаев — ниже шанса
• По токенам эффект исчезает: в OpenBookQA золотой ответ самый длинный лишь в 17,98% случаев