Cloudflare дала сайтам просить Google не обучать ИИ на их страницах

Cloudflare 15 сентября запустила настройку Disallow AI Training: владельцы сайтов могут запретить Google и Apple использовать страницы для обучения ИИ, сохранив доступ поисковых краулеров. Для Bing такая инструкция пока не отправляется — поддержку обещают к началу 2027 года.

• Настройка публикует запрет на обучение ИИ в robots.txt сайта
• Поисковые краулеры Google и Apple продолжают обход страниц
• Для Bing запрет на обучение появится только к началу 2027 года
• Pay Per Crawl от Cloudflare остаётся в закрытой бете