Владельцы сайтов против ботов: проблемы с краулерами ИИ

Некоторые веб-мастера выражают недовольство из-за обилия ботов, создающих значительную нагрузку на их серверы, особенно краулеров для ИИ. Согласно данным отчета Fastly, такие боты могут генерировать до 39 тысяч запросов в минуту. В 2025 году нагрузка от скраперов увеличилась на 87%, в основном из-за RAG-скраперов, а ИИ-краулеры составляют около 80% трафика ИИ-ботов. Примечательно, что ClaudeBot от Anthropic отправил миллион запросов за день на iFixit.com и 3,5 миллиона за четыре часа на Freelancer.com. Краулер Facebook, который игнорирует блокировки, также вызывает беспокойство. Для борьбы с ботами применяются различные методы, включая капчи и фильтрацию по user-agent. Более креативные решения, такие как система Anubis, проверяют входящие соединения, создавая вычислительные задачи, чтобы нагрузить дата-центры. Кроме того, веб-мастера начали использовать zip-бомбы, истощающие ресурсы ИИ-краулеров. Несмотря на негативное воздействие на сеть, такие меры используются, когда боты создают более 50% нагрузки на серверы.