Cloudflare запустила инструмент для блокировки ИИ-краулеров с сохранением поиска

Cloudflare представила инструмент, позволяющий блокировать сбор данных для обучения ИИ, не затрагивая поисковых краулеров. По данным компании, смешанные краулеры составляют 36,6% проверенного трафика краулеров в её сети.

• Инструмент блокирует ИИ-обучение, сохраняя доступ поисковиков
• Смешанные краулеры — 36,6% проверенного трафика в сети Cloudflare
• Решение разделяет цели краулеров: обучение ИИ и поисковая индексация