20,9% из 1000 топ-сайтов блокируют хотя бы одного ИИ-краулера

Исследование robots.txt 1000 самых популярных сайтов (Tranco, октябрь 2026) показало: 20,9% блокируют хотя бы одного из 16 ИИ-ботов, 78,9% пускают всех. Чаще всего блокируют обучающие краулеры: CCBot — 15,5%, GPTBot — 13,8%, поисковые ИИ-боты — реже (OAI-SearchBot — 7,0%).

• 209 из 1000 сайтов (20,9%) блокируют хотя бы одного ИИ-бота целиком
• CCBot блокируют 15,5% сайтов, GPTBot — 13,8%, OAI-SearchBot — 7,0%
• 27% сайтов из топ-100 блокируют ИИ-ботов против 17,4% из диапазона 501–1000
• 109 сайтов всё ещё указывают устаревшее имя anthropic-ai, 49 отдают веб-страницу вместо robots.txt