AI21 Labs выпустила LIFT-Bench против reward hacking в RL-обучении

AI21 Labs представила бенчмарк LIFT-Bench и датасет LIFT-Train на 34 258 задач для оценки и обучения следованию инструкциям. Ограничения привязаны к отдельным разделам документа и оцениваются вместе с содержанием задачи, что снижает reward hacking: на IFTrain медианный ответ сжался со 114 до 18 слов, на LIFT-Train остался в диапазоне 390–530 слов.

• LIFT-Bench: 784 тестовые задачи в 10 сплитах, короткие и длинные документы
• LIFT-Train: 34 258 задач, тот же constraint_reward служит и метрикой, и наградой
• На IFTrain медианный ответ упал со 114 до 18 слов к шагу 390
• GPT-5.5 набирает 0,96 на структурных задачах, но лишь 0,65–0,72 на плоских