За 15 дней ни один ИИ-краулер не запросил llms.txt

Разработчик проанализировал 345 808 запросов к своему сайту за 28 августа — 11 сентября 2026 года. Из 46 155 запросов с токенами краулеров (GPTBot, ClaudeBot, PerplexityBot и др.) ни один не запросил /llms.txt или /llms-full.txt; все 67 обращений к этим файлам пришли от клиентов без токена краулера, 53 из них — из curl.

• 345 808 запросов за 15 дней, 46 155 с токенами краулеров
• 20 разных токенов краулеров, ни одного запроса к llms.txt
• Все 67 обращений к llms.txt — без токена краулера, 53 из curl
• 698 запросов к robots.txt и 282 к sitemap.xml за 9–11 сентября