GAGAR: новый метод награды для RL-агентов, пишущих код

Исследователи представили GAGAR — метод групповой оценки и перераспределения преимуществ для обучения с подкреплением кодовых агентов. Вместо бинарной награды за прохождение тестов агент-грейдер ранжирует прошедшие патчи по чистоте и минимальности изменений, а преимущества пересчитываются с сохранением суммы. Метод протестирован на моделях MiMo-V2.6-Flash (310 млрд параметров) и MiMo-V2.6-Pro (1,02 трлн).

• Бинарная награда за тесты не различает патч в 8 строк и раздутый в 40 строк
• GAGAR ранжирует прошедшие тесты траектории по минимальности и чистоте кода
• Перераспределение преимуществ сохраняет их сумму, не ломая другие задачи
• Тесты на MiMo-V2.6-Flash 310B и MiMo-V2.6-Pro 1,02T дали рост точности