Cloudflare с 15 сентября блокирует Googlebot на сайтах с рекламой

С 15 сентября 2026 года Cloudflare по умолчанию запрещает AI-краулеры на новых доменах и бесплатных аккаунтах, а Googlebot как mixed-use краулер тоже получает 403 на страницах с рекламой и при загрузке sitemap. robots.txt при этом остаётся разрешающим, поэтому проблему не видно в репозитории и Search Console.

• С 15 сентября 2026 Cloudflare включила блокировку AI-краулеров по умолчанию для новых доменов и free-tier
• Googlebot, Bingbot и Applebot получают 403 на страницах с рекламой и на sitemap
• Доля Googlebot в трафике Cloudflare упала с 57,20% до 27,49% за год
• Проверка: curl с user-agent Googlebot даёт 403, а браузер — 200