Cloudflare разделила управление краулерами для поиска, агентов и обучения ИИ

Cloudflare заменила единую блокировку ИИ-ботов на три отдельные категории: Search, Agent и Training. По умолчанию для новых доменов поиск разрешён, а Training и Agent блокируются на страницах с рекламой. Из-за мультицелевых краулеров, включая Googlebot, блокировка Training может затронуть и поисковую индексацию.

• Система запущена 15 сентября 2026 года вместо опции «Block AI Bots»
• Search разрешён по умолчанию для новых доменов
• Training и Agent блокируются по умолчанию на страницах с рекламой
• Блокировка Training может затронуть Googlebot из-за совмещённого поведения