220.181.51.*IP疯狂抓取网页情况,都谁有?导致网站卡死(悬赏5元)
220.181.51.*这个IP段
疯狂抓取网页情况,都谁有?直接导致网站带宽占满,网站访问极慢
UA是? "Mozilla/5.0?(Windows?NT?10.0;?WOW64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/48.0.2564.116?Safari/537.36"
大家都谁有这个情况?
这个IP 好像是百度,因为禁掉后,百度站长平台就抓取不到,不禁吧,带宽又不行,求解决办法,
曾经试过调整百度抓取上限制,但是不好用,还是疯狂访问
百度站长反馈,另外如果网站数据庞大的话 尽快加大内存
###这类情况我也经常遇到,我就直接屏蔽了
###1、百度站长蜘蛛抓取频次如何;
2、网站日志分析,这个是抓取什么内容,全都是网页吗,是抓什么内容导致网站承受不了这个需要分析下?
3、如果确定是百度蜘蛛,网站承受不了,可以百度站长反馈,请求查看下,一般百度蜘蛛会根据网站服务器压力自动进行抓取频次调整,可观察下。


2020-12-17 10:07:49