Microsoft обучила ИИ-агента через RL на проверках бенчмарка

Microsoft Research и Hugging Face показали, что проверки состояния базы данных из бенчмарка ThinkingBox можно использовать как сигнал подкрепления. Дообучение Qwen3.8-27B подняло долю задач, решаемых при каждой из 20 попыток, с 38 до 107 из 507, а стоимость надёжно выполненной задачи упала на 67% — до ~$8.

• Pass@1 вырос с 51,70% до 60,78% на 10 140 попытках
• Число задач с результатом 20/20 выросло с 38 до 107 из 507
• Стоимость надёжной задачи снизилась с $24,36 до ~$8,00
• Обучение шло 50 шагов GRPO на открытой модели Qwen3.8-27B