Аудит выявил утечку ответов в аннотациях бенчмарков OpenBookQA, SciQ и QASC

Исследование MV2 (Munim, Inc.) измерило, как часто правильный ответ дословно содержится в аннотациях трёх научных бенчмарков. Утечка растёт с «похожестью» аннотации на ответ: 6,36% в OpenBookQA, 91,57% в SciQ и 87,64% в QASC против 0,59–4,49% у неверных вариантов.

• OpenBookQA: ответ в факте у 6,36% вопросов против 0,59% у дистракторов
• SciQ: ответ в опорном абзаце у 91,57% из 12 252 вопросов
• QASC: в combinedfact ответ у 87,64% против 0,74% у дистракторов
• В 14,2% вопросов QASC ответ есть только в составном факте