Аудит выявил 25 дефектов в метриках и разметке LLM-бенчмарков

Проект eval-reliability-audits опубликовал 25 воспроизводимых аудитов кода оценки и золотых меток популярных LLM-бенчмарков. Найдены конфликтующие метки в SNLI, MultiNLI и ANLI, расхождение финального ответа с последней аннотацией в 5,4% решений GSM8K и ошибки нормализации в exact_match и ROUGE.

• SNLI: 64 точных и 82 нормализованных конфликтующих пар меток, все в train
• GSM8K: #### ответ не совпал с последней аннотацией в 470 из 8679 решений (5,4%)
• Нормализация exact_match в HuggingFace меняет вердикт в обе стороны
• Токенизатор ROUGE может дать F=1.0 для противоположных по смыслу саммари