HKUST: смена обвязки агента ломает замороженные модели

Исследователи HKUST показали, что сравнение обвязок ИИ-агентов на замороженной модели измеряет не потолок обвязки, а штраф за несовпадение. На MiniWoB++ перестановка полей наблюдения обрушила успех политики с 85,0% до 19,2%.

• Возврат = потолок обвязки минус штраф за несовпадение с политикой
• Перестановка полей наблюдения снизила успех с 85,0% до 19,2%
• На Terminal-Bench Lite лучшей стала DeepAgents, худшей — mini-SWE-agent
• Честное сравнение требует дообучения под каждую обвязку или оценки потолка учителем