EdgeWise: выборочная делегация в облако снижает затраты на инференс на 87%

Исследователи представили EdgeWise — систему, где лёгкий селектор на Jetson Orin решает, какие шаги многошагового ИИ-агента отправлять в облако. По данным статьи (arXiv, 13 октября 2026), только 12% решений в 50-шаговой задаче требуют GPT-4-turbo, что даёт снижение стоимости инференса в 5–7 раз при задержке 95-го перцентиля ниже 200 мс.

• Селектор на 12 млн параметров работает менее 5 мс на Jetson Orin
• Только 10–20% шагов делегируются в облако при сохранении 95% качества
• Стоимость инференса падает в 5–7 раз, задержка edge-шагов — 190 мс
• SDK 0.3.1 доступен через pip с готовыми Docker-образами для ARM64