Cloudflare открыла бета-версию Auto Router для выбора ИИ-модели под запрос

Cloudflare выпустила в публичную бету Auto Router в AI Gateway: при модели cloudflare/auto классификатор на Workers AI выбирает модель под каждый запрос. Он оценивает сложность, неоднозначность, ставки и зависимость от контекста по шкале 1–5 и распределяет запрос по 14 категориям задач.

• Классификатор работает на GPU Cloudflare и учитывает только последние 8 КиБ диалога
• Выбор модели и причину возвращают заголовки cf-aig-routed-model и cf-aig-routing-reason
• Пул моделей можно ограничить заголовками cf-aig-allowed-models и cf-aig-allowed-providers
• В бете сервис бесплатен, WebSockets не поддерживаются