Beeck Center выпустил рекомендации по адаптации госсайтов к ИИ-краулерам

Центр Beeck при Джорджтаунском университете опубликовал отчёт о том, как госорганам готовить сайты к ИИ-ассистентам. Рекомендуется проверять настройки блокировки ботов, ввести трёхуровневый доступ для краулеров (GPTBot, Claude, Googlebot) и публиковать ключевую информацию простым текстом и HTML-таблицами.

• Предложен трёхуровневый доступ: проверенные краулеры крупных провайдеров, спорные и неопознанные боты
• Критические данные советуют публиковать текстом, HTML-таблицами и PDF с извлекаемым текстом
• После редизайна сайта нужно заново тестировать доступность контента для ИИ-краулеров
• За достоверность контента должен отвечать отдельный человек или команда