百度蜘蛛爬取了大量不存在的404页面这么回事?
文章来源：http://www.xinghun.love
作者：形式婚姻
人气：16
2021-01-04 09:32:59
在没屏蔽ip之前有是超大量近乎10万+的虚假404页面和境外ip被百度蜘蛛（真假都有）抓取，屏蔽假蜘蛛ip后数量减少了，被屏蔽的假蜘蛛访问ip是已经看不到了，但还是每天有500+的虚假404页面被真实蜘蛛抓取，这个怎么办？
进来学习下
这个不错哦
---------------建议去反馈一下。
---------------是不是页面不稳定，404比较多
---------------404页面和Robots文件
---------------Robots禁止一下
---------------站长投诉吧
---------------这个问题可以找CY
---------------是不是页面不稳定，404比较多
---------------看百度站长后台自己的抓取频次
---------------Robots里面禁止抓取404不就行了么
---------------1、看百度站长里面的抓取频次是多少；
2、百度站长抓取有无异常，出现大量404异常，如果没有，这个就不用担心；
3、蜘蛛只会抓取爬行存在URL，如果压根不存在的一般都不会抓取；
4、网站Site有收录出现大量404吗，如果没有一般不用担心。
上一篇：服务器内存问题
下一篇：现在SEO这么难做，大家还在做吗？
