Baiduspider的详细介绍
对,baiduspider就是我们SEOer口中经常说的百度蜘蛛,有些朋友可能发现baiduspider不止一个,是的。它有很多种,还有冒充的哦,所以我们在查看这些信息的时候不得不注意了,而今天我不仅要介绍百度的多种spider,还会说到如何查看冒充的baiduspider等等……
Baiduspider都有哪些(图)?
这里我们要说的就是最后一个百度spider,这个相信每一位seo朋友都很熟悉,因为这个是我们经常遇到的baiduspider,也就是网页搜索的spider,遇到其他的也不要慌张,因为上面我已经做了介绍,大家可以参照去自己的IIS日志里进行查看。
Baiduspider的真假判断
判断spider的真假我就不多太复杂的技术方法了,给大家提供一个工具进行辨别,这个SEO工具不仅简单方便,还大大节省了我们的时间,它就是Chinaz的IP地址查询工具(地址:http://ip.chinaz.com/),在你的IIS日志看到了Baiduspider,前面会有IP地址,这样进行查询,就简单方便多了!
如何禁止Baiduspider抓取我的网站?
如果你想禁止百度蜘蛛抓取你的网站的那请在robots协议注明,协议一般是这样:
User-agent: Baiduspider
Disallow: /
为了表示的更准确些我调用一张图片为大家进行描述:
好了,关于百度蜘蛛的常见问题基本就这些,希望能够帮到你,如果你对关于百度spider有其他的问题欢迎你评论给我,我会第一时间给与回复!
刚刚就在我写文章的时候有朋友和我提到:“你的SEO博客最近怎么总是发布SEO技术基础的东西呢?”终于有人给我提意见了,太谢谢了,我明天会给一些我实践过的SEO技术,敬请期待!