Coinbase описала Autopilot — цикл контроля качества ИИ-поддержки

Инженеры Coinbase рассказали о системе Autopilot: агенты пишут, тестируют и оценивают версионируемые процедуры поддержки, а детерминированные сервисы обеспечивают воспроизводимую проверку. Процедуры оформлены как код на предметно-ориентированном языке, общие тест-контракты позволяют сравнивать своего бота с партнёрскими. Количественных результатов после внедрения компания не привела.

• Процедуры поддержки хранятся как версионируемые деревья решений на DSL
• Агенты исследуют кейсы, детерминированные сервисы выставляют оценки
• Единый тест-план прогоняется и на боте Coinbase, и на партнёрских
• Измеримых улучшений после запуска компания не раскрыла