Треть запросов ИИ-краулеров на сайт оказались поддельными

Разработчик проверил nginx-логи и обнаружил, что около трети запросов от ClaudeBot, GPTBot, PerplexityBot и Applebot пришли не с официальных IP-диапазонов. Компании публикуют списки CIDR-префиксов своих краулеров, и сверка с ними занимает около двадцати строк кода без зависимостей.

• ClaudeBot прислал 1136 запросов, GPTBot — 420, PerplexityBot — 356
• Около трети запросов пришли не с заявленных IP-адресов
• OpenAI и Apple публикуют CIDR-диапазоны краулеров в JSON-файлах
• Проверка логов по этим спискам требует около 20 строк кода