Cloudflare разделила обучение ИИ и поисковую индексацию в управлении краулерами

Cloudflare ввела отдельные политики для поисковых краулеров, обучения ИИ и ИИ-агентов вместо единого переключателя Block AI Bots. Настройка Disallow AI Training публикует запрет на обучение в robots.txt, сохраняя поисковую индексацию; Apple, Google и Microsoft обязались соблюдать директиву.

• Вместо Block AI Bots — три категории: Search, Training и Agent
• Disallow AI Training прописывает запрет на обучение в robots.txt
• Bot Preference Sync синхронизирует robots.txt с политиками бота
• Apple, Google и Microsoft обязались соблюдать директиву