За 30 дней ни один ИИ-краулер не прочитал llms.txt на сайте

Разработчик из Малайзии измерил через Cloudflare AI Crawl Control обращения ИИ-краулеров к своему сайту за 30 дней: robots.txt запросили 605 раз, карту постов — 192, а llms.txt и llms-full.txt — ни разу. Файлы он оставил, так как они генерируются автоматически и ничего не стоят.

• robots.txt запрошен 605 раз, карта постов — 192, llms.txt — 0
• ClaudeBot сделал 128 из 192 запросов карты постов
• Всего ИИ-краулеры сделали около 3000 запросов за 30 дней
• llms.txt предложен в сентябре 2024 как файл для чтения по запросу, а не для краулеров