У 23 из 248 японских сайтов robots.txt разрешает ИИ-краулеры, а CDN отдаёт 403

Исследователь проверил 300 японских сайтов из списка Tranco 7 октября 2026 года: из 248 доступных для браузера сайтов 23 отдают 403 краулерам GPTBot, ClaudeBot, PerplexityBot и OAI-SearchBot, хотя robots.txt их разрешает. В 14 случаях заблокированы все четыре агента.

• Проверено 300 сайтов, браузер открыл 248; расхождение найдено у 23
• GPTBot заблокирован на 22 сайтах, ClaudeBot — на 19, PerplexityBot — на 16
• В 9 случаях блокируются только ИИ-агенты, Googlebot и обычный клиент проходят
• Блокировки встречаются на Akamai, CloudFront и Cloudflare — привязки к одному CDN нет