Исследование: 22,6% из 261 топ-сайта блокируют GPTBot

Проверка robots.txt 285 популярных сайтов (261 файл читаем) показала: 22,6% блокируют GPTBot, 35% — хотя бы одного обучающего краулера, 21% — поискового. Чаще всего блокируют CCBot и Bytespider (по 28,7%), реже всех — OAI-SearchBot (11,5%). Почти половина блокировок GPTBot приходится на новостные сайты.

• 59 из 261 сайта (22,6%) запрещают GPTBot от OpenAI
• CCBot и Bytespider блокируют чаще всех — по 28,7%
• OAI-SearchBot блокируют реже всех — 11,5% сайтов
• 27 из 48 новостных сайтов закрыты для GPTBot