Cloudflare отделила запрет на обучение ИИ от поисковой индексации

Cloudflare ввела настройку Disallow AI Training, которая запрещает использование контента сайта для обучения ИИ-моделей, не блокируя поисковую индексацию. Директива публикуется в robots.txt через Bot Preference Sync; Applebot и Googlebot её уже соблюдают, Bingbot — с начала 2027 года.

• Настройка различает краулеры по трём сигналам: Search, Training и Agent
• Applebot и Googlebot продолжат индексировать сайты, но не обучать на них модели
• Bingbot поддержит директиву в начале 2027 года
• Старый Block AI Bots отключают, клиентов переводят на новые настройки