爬虫高频请求导致超负载问题

对网络爬虫，google 爬虫，pinterest爬虫，不能全部屏蔽，但是不屏蔽，几十个站一起被爬，服务器又扛不住，因此我们可以通过cloudflare的速率来进行控制

1.cloudflare进入站点，点击安全规则，创建规则

创建：速率限制规则

2.编辑规则内容

值依次为：

/products/*
/collections/*
/blogs/*
/blog/*
/pages/*

当速率超过： 40次页面访问/每分钟，则屏蔽30分钟

3.如果设置这个频率后，服务器还是扛不住，那么可以设置：

一般来说，正常用户请求，一分钟不可能访问30次，20次都不大可能。

然后保存即可

4.过一段时间，可以过来查看：

注意：这里的屏蔽，是根据IP来的，只要操作频率超过阈值，cf就会屏蔽掉请求

如果你不做pinterest推广，就是要100%屏蔽掉pinterest爬虫，那么可以如下操作：

1.点击右边的按钮：创建规则，然后，点击：自定义规则

2.编辑内容

3.保存即可

切记，这里会屏蔽掉所有的pinterest爬虫！！！！！

results matching ""