Перепись 185 сайтов ЕС: кто реально блокирует ИИ-краулеров

Исследование Pennyforge от 1 октября 2026 года измерило блокировку ИИ-краулеров на 185 сайтах ЕС. Жёсткий opt-out есть у 35 сайтов (18,9%), все — полный Disallow: /; чаще всего блокируют медиа (66,7%), реже всего — госпорталы (4,2%).

• 121 из 185 сайтов (65,4%) отдают robots.txt, у 77 из них нет правил ни для одного из 12 ИИ-краулеров
• 35 сайтов (18,9%) полностью запрещают ИИ-краулеров, частичных opt-out на панели нет
• CCBot блокируют 26 сайтов — больше всех, при этом явных разрешений у него ноль
• MistralAI-SearchBot не упомянут ни на одном из 185 сайтов, файл .well-known/ai-crawler не отдаёт ни один