20,2% сайтов в Мексике блокируют хотя бы одного ИИ-краулера

Проверка robots.txt 751 популярного сайта из Мексики, США и Канады показала: 20,2% мексиканских сайтов блокируют хотя бы один краулер для обучения ИИ, в выборке США — 29,3%, в Канаде — 13,2%. Полностью закрывают все восемь обучающих ботов лишь 2,9%, 9,0% и 2,5% сайтов соответственно.

• В Мексике 20,2% сайтов блокируют обучающих ботов, в США — 29,3%, в Канаде — 13,2%
• Все 8 обучающих краулеров блокируют 2,9% сайтов в Мексике и 9,0% в США
• GPTBot чаще всего блокируют в Мексике (14,4%), CCBot и Bytespider — в США (по 24,4%)
• Валидный llms.txt публикуют около 10% сайтов во всех трёх выборках