Microsoft выпустила ThinkingBox-Training для RL-дообучения агентов

Microsoft опубликовала на GitHub набор ThinkingBox-Training — продолжение бенчмарка ThinkingBox, где проверка конечного состояния базы данных служит наградой при дообучении. Дообученная через GRPO за 50 шагов Qwen3.8-27B подняла pass@1 на 507 задачах ThinkingBox-Bench с 51,70% до 60,78%, но pass@20 снизился с 89,35% до 87,97%.

• Pass@1 вырос с 51,70% до 60,78%, задачи, решённые все 20 раз, — с 7,50% до 21,10%
• Pass@20 упал с 89,35% до 87,97%: модель стала стабильнее, но не шире
• Пул обучения — 187 задач, отобранных из кандидатов с неоднозначным исходом
• Оценка стоимости: $8,00 за задачу против $24,36 у базовой модели