740 крупнейших сайтов проверили на блокировку ИИ-ботов: 15% закрыты для GPTBot

Анализ 740 сайтов из топ-1500 Tranco показал: 15% блокируют GPTBot в robots.txt, 14% — ClaudeBot, 13% — Google-Extended. Из 109 сайтов, закрытых для GPTBot, 69 (63%) также блокируют поискового агента ChatGPT, включая CNN, BBC, Reddit и Amazon.

• 15% из 740 сайтов блокируют GPTBot, 14% — ClaudeBot, 13% — Google-Extended
• 69 из 109 сайтов с блокировкой GPTBot закрывают и поиск ChatGPT
• 9% сайтов отклоняют запросы с именем ИИ-бота на сервере вопреки robots.txt
• 14% публикуют llms.txt, 45% имеют структурированные данные, 38% без sitemap