Cloudflare и OpenAI проиндексировали сотни миллионов «невидимых» страниц

Cloudflare и OpenAI подвели первые итоги трёхмесячного пилота: сигналы с edge-инфраструктуры CDN позволили найти и проиндексировать сотни миллионов страниц, недоступных обычным краулерам, идущим по ссылкам. Тест охватывал около 1% сети Cloudflare.

• Пилот стартовал 8 июля 2026 года на ~1% сети Cloudflare
• Сигналы о свежести и трафике идут в очередь обхода OpenAI
• Отдельно тестируется пометка одной взломанной страницы без бана домена
• Cloudflare передаёт метаданные, а не контент для обучения моделей