AgSpec ускорил спекулятивное декодирование в кодинг-агентах

Исследователи KAIST и Сеульского национального университета представили AgSpec — метод retrieval-спекулятивного декодирования для кодинг-агентов. Проблема оказалась в формате: индекс хранит файлы как на диске, а агенты выводят код в виде diff или JSON с экранированием, из-за чего совпадения токенов ломаются. Индексация файлов сразу в нескольких форматах вывода почти вдвое увеличила длину принимаемых черновиков.

• AgSpec индексирует файлы в форматах raw, unified-diff и JSON-escaped одновременно
• Длина принимаемых черновиков на правках репозитория выросла почти вдвое
• Три корпуса с разным временем жизни: сессия, рабочая область, глобальные справочники
• Лимит длины черновика подбирается под роль агента: планировщик или кодер