外链代发包收录,纯手工外链代发就找老客外链吧

站长新闻

您的位置:老客外链 > 站长新闻 >

220.181.51.*IP疯狂抓取网页情况,都谁有?导致网站卡死(悬赏5元)

文章来源:seo系统培训 作者:安卓软件下载 人气:17 时间2020-12-17 10:07:49

220.181.51.*这个IP段

疯狂抓取网页情况,都谁有?直接导致网站带宽占满,网站访问极慢

UA是? "Mozilla/5.0?(Windows?NT?10.0;?WOW64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/48.0.2564.116?Safari/537.36"


大家都谁有这个情况?

这个IP 好像是百度,因为禁掉后,百度站长平台就抓取不到,不禁吧,带宽又不行,求解决办法,

曾经试过调整百度抓取上限制,但是不好用,还是疯狂访问

百度站长反馈,另外如果网站数据庞大的话 尽快加大内存

###

这类情况我也经常遇到,我就直接屏蔽了

###

1、百度站长蜘蛛抓取频次如何;

2、网站日志分析,这个是抓取什么内容,全都是网页吗,是抓什么内容导致网站承受不了这个需要分析下?

3、如果确定是百度蜘蛛,网站承受不了,可以百度站长反馈,请求查看下,一般百度蜘蛛会根据网站服务器压力自动进行抓取频次调整,可观察下。

QQ截图20201217095313

联系我们

在线服务 外链咨询 二维码

扫码添加微信:xmbfjc