UserProxyBench: 24,4% успешных прогонов агентных бенчмарков нарушают контракт симулированного пользователя

Исследование UserProxyBench (Ashish Jain, Armaan Sandhu) измерило качество симулированного пользователя в агентных бенчмарках семейства tau-bench. На 375 задачах и 2141 критерии в четырёх доменах замена прокси-пользователя при фиксированном агенте сдвигает среднюю награду на 15,2 пункта, а 24,4% успешных эпизодов содержат нарушение спецификации пользователя.

• Замена прокси-пользователя меняет награду агента на 15,2 пункта при неизменном агенте
• 24,4% успешных эпизодов содержат нарушение спецификации пользователя
• User Fidelity Score по семи прокси: от 0,599 (GPT-5.4-mini) до 0,864 (Gemini-3.5-Flash)
• Средние ходы агента коррелируют с UFS на r=0,955, а награда — лишь на r=0,594