Cloudflare и OpenAI: пилот ускорил индексацию сотен миллионов страниц

Cloudflare и OpenAI подвели итоги исследовательского пилота, запущенного в июле 2026 года: сигналы сети Cloudflare помогли найти и проиндексировать сотни миллионов новых страниц для ChatGPT. В тесте участвовал пул примерно в 1% сети Cloudflare; сигналы об изменениях и фильтрация несуществующих страниц снижают нагрузку на сайты.

• Пилот охватил около 1% сети Cloudflare
• OpenAI проиндексировала сотни миллионов новых страниц
• Сигналы об изменениях страниц сокращают лишние обходы краулером
• Метаданные используются для поиска, а не для обучения моделей