IBM: выученные правила подняли GPT-4.1 до 67,5% Pass^4 в τ²-bench
IBM Research показала метод ALTK-Evolve: правила поведения, извлечённые из собственных прогонов агента и добавленные в системный промпт, подняли GPT-4.1 в розничном домене τ²-bench до 67,5% Pass^4 против 57,5% у базовой версии. Обучение идёт без обновления весов и разметки, но растёт стоимость диалога — на 65% в retail.
- Retail: 67,5% Pass^4 против 57,5% у базовой версии, +10 п.п.
- Airline с gpt-5.5: 70% Pass^4 против 55% у базовой, +15 п.п.
- Стоимость диалога в retail выросла с $0,084 до $0,139 (+65%)
- Число ходов сократилось: 10,59 → 10,16 в retail
Читать дальше
ИИ