CDN及虚拟主机用户须慎重辨明假百度蜘蛛

假蜘蛛对我们网站的危害是巨大的，具体有：

1.占用网站带宽，导致网站流量增加，额外支出。

2.在带宽有限的前提下，阻碍正常蜘蛛抓取。

3.在网站上进行SEO工作时误导了我们的思维。

4.一些伪装成假蜘蛛的收集工具偷走了我们的工作。

我们可以看到网上有很多人在分享如何“抓”假蜘蛛的文章，但这些文章只是用同样的方式描述了“抓”假蜘蛛的过程和操作方法。但是没有分享如何真正辨别蜘蛛的真伪。

最近一个网站做SEO优化的时候，碰到这样一个案例，差点导致把真蜘蛛当成假蜘蛛。

一、发现“假蜘蛛”

SEO依赖于大量的分析和数据，其中日志分析最为重要。在日志中，我们可以看到很多平时统计工具看不到的数据和事实。

本周分析网站日志时，发现了几个不被识别的“蜘蛛IP”。我们来看看截图：

我们知道，百度蜘蛛一般来自两个IP段：202.181.108。*和123.125.71。*(对了，这两个IP段的百度蜘蛛并没有所谓的高权重和低权重)。显然，这三个IP在“常识”上，不属于百度蜘蛛所属的IP段。

为了保证百度蜘蛛不被误杀，我用nslookup ip命令解析了这个ip，得到了以下信息：

此时基本可以确定该IP不属于百度蜘蛛的IP段，而是一个“假蜘蛛”。我们需要屏蔽IP来释放被占用的带宽。

二，误会“假蜘蛛”

当我正要屏蔽上面提到的三个IP地址时，突然想到这个网站上周通知我，他们要使用安全宝服务，需要将DNS解析到安全宝的服务器，安全宝会根据用户的访问情况选择最近的节点进行CDN加速。

在我之前的例行SEO检查中，发现网站IP被解析为陕西的一个IP，而这个网站IP与这次在网站日志中发现的三个“假蜘蛛”IP属于同一个IP段。

为了验证这个猜测，我又仔细查看了网站日志，发现Google Spider和搜狗Spider也来自之前的三个IP(在拆分网站日志之前，我只看了百度的情况，因为网站是给百度做SEO的)。

现在终于清楚了，这些属于IP的蜘蛛不是假蜘蛛，而是正版的百度蜘蛛、谷歌蜘蛛等搜索引擎蜘蛛。只是因为他们经过了一次CDN节点，所以他们的源IP是一致的。

三，虚拟主机如何产生“假蜘蛛”

所以之前看相关文章，经常看到站长抱怨从XX机房(就一两个机房)找假蜘蛛。

这是一件非常奇怪的事情。采集工具和假蜘蛛都是这个机房生产的吗？自然不是这样的，而是：

1.大量发现假蜘蛛的站长使用某主机供应商提供的集群主机或者类似性质的虚拟主机。

2.基于集群的虚拟主机与CDN原理相同，即客户的空间和站点信息同步到同一组的所有服务器上。

3.蜘蛛有不同的来源。他们中的一些人直接访问网站，而另一些人通过一些外部链接访问网站。这些通过外链访问站点的蜘蛛会通过附近的CDN节点进行访问。

4.每队4人。CDN节点不同，但大致分为大区(不是省)和电信、网通。

5.对于通过CDN节点访问网站的蜘蛛来说，源IP自然不是从北京总部出发时的IP。

最终，事情得到了很好的解决。网站优化后一直运行良好。虽然采用了CDN，但事实证明CDN对于搜索引擎来说没有障碍，反而有利于网站速度和用户体验的提升。

这个SEO案例也告诉我们，在线SEO教程会过时。随着互联网的进步，我们SEO要学会理性对待一些教程和分享，要有质疑和勇于实践的精神，要懂得一些互联网的基础技术知识。