搜索引擎蜘蛛技术探析

搜索引擎技术捕捉网络中的海量信息。随着信息量的增加，这项技术变得越来越突出。作为一个SEO优化人员，虽然不需要像专门研究搜索引擎的人一样对搜索引擎技术有透彻的了解，但是SEOer有必要分析搜索引擎蜘蛛的处理方法，研究其搜索和更新策略。只要任何一个网站的内容更新，我们都可以看到搜索引擎对网站做出相应的分析，然后增加页面权重，了解搜索引擎技术，根据实质性原则为我们优化搜索引擎。这才是SEO的明智之举，而不是每天更新外链里的网站内容。业余时间还是要学习相关技术。下面是搜索引擎的核心检索技术。

　　一蜘蛛工作原理

搜索引擎Spider通过链接地址来搜索网页。搜索引擎蜘蛛名称根据搜索引擎的不同而不同。它的原理是一个启动链接开始抓取网页的内容，同时也收集网页上的链接，把这些链接作为它下一个抓取的链接地址，以此类推，直到达到一定的停止条件，它才会停止。停止条件的设置通常基于时间或数量，网络蜘蛛的抓取可以通过链接的数量来限制。同时，页面信息的重要性是决定蜘蛛搜索网站页面的客观因素。其实这是站长工具里的搜索引擎蜘蛛模拟器的原理，不知道准不准。基于这种蜘蛛的工作原理，站长会不自然地增加页面上出现的关键词数量。密度虽然变了，但对于蜘蛛来说还没有达到一定的质变。这应该在搜索引擎优化过程中避免。

　二搜索引擎蜘蛛与网站的交互问题

在搜索引擎技术的基础上，蜘蛛爬进网站，通常会检索到一个文本文件Robots.txt，这个文件通常存储在网站的根目录下。它是一个用于与网络蜘蛛交互的特殊文件。这就是为什么SEOer总是屏蔽网站页面不让搜索引擎抓取的原因。和搜索引擎蜘蛛对话是一个网站的重要工具，但是蜘蛛会遵守站长强加的规则吗？其实蜘蛛的依从性还是取决于蜘蛛的出身。素质高的会循规蹈矩，反之则不然。另外，在网站中放入一个叫sitmap.htm的网页，作为网站的入口文件，这也是蜘蛛与网站的交互方式。对于交互式SEO手段，我们可以制作符合搜索引擎蜘蛛偏好的有针对性的网站地图。

Meta field也是站长经常使用的搜索引擎优化技术。这个字段一般放在文档的头部，很多站点干脆写一个字段让百度抓取。不知道对不对。其实SEO中的很多现象，只有基于数据分析对比才能知道。Meta-spider不需要阅读所有的文档就可以知道文档的相关信息，可以避免取下无效网页然后丢弃所造成的不必要的浪费。

　三搜索引擎蜘蛛对于文件的处理

(一)二进制文件处理

除了HTML文件和XML文件，互联网中还有大量的二进制文件。搜索引擎对二进制文件是分开处理的，对内容的理解完全依赖于二进制文件的锚点描述。锚点描述通常代表文档的标题或基本内容，也称为锚文本。这就是为什么我们要分析选择网站的锚文本。

(2)脚本文件的处理

网页中的客户端脚本，当网页加载读取脚本时，搜索引擎往往直接省略其处理。然而，由于网站设计者对非刷新页面的要求越来越高，以及ajax技术的广泛使用，经常使用另一个web搜索程序对其进行分析和处理。由于脚本程序的复杂性和多样性，站长们通常会根据自己的网站将这些脚本存储到一个文档中，并使用调用技术来加快页面加载速度。同时，蜘蛛无法对调用的文件进行分析和处理。这也属于搜索引擎优化技术，稍有疏忽就会损失巨大。

(3)不同文件类型的处理

网页内容的提取和分析一直是网络蜘蛛的重要技术环节，也是SEO需要了解的搜索引擎技术，这依赖于网站信息更新的多样性。这也是为什么专业网站会附上各种类型的下载文件，比如execl，pdf等。到网站，这也属于搜索引擎优化的过程。网络蜘蛛在处理互联网上不同类型的文件时，通常会使用插件来处理。如果有能力的话，网站的信息内容要尽可能的多元化更新，帮助网站实现一个搜索信息多元化的SEO系统。

　四搜索引擎蜘蛛的策略分析

(一)搜索策略

搜索策略一般包括深度优先搜索策略和广度优先搜索策略。

广度优先搜索策略一般被认为是盲搜索。它是一种贪婪的搜索策略，优先搜索更多的网页。每当有东西被搜索，它就会抓住它。它会先读取一个文档，保存文档上的所有链接，然后读取所有这些链接的文档，依次进行。

深度搜索策略Web spider程序分析一个文档，取出其第一个链接指向的文档继续分析，以此类推。这种搜索策略实现了网站结构的分析和页面链接的深度分析，从而传达网站信息。

网上也有提到的算法，比如哈希算法，遗传算法，都是基于搜索引擎的核心技术。这些也是可以学习的，比如最新的熊猫算法，也是基于搜索策略的新算法。谷歌已经更新过几次了。

更新战略

基于网页变化的周期，只更新那些变化频繁的网页也是很小的。

的搜索引擎常采用的方法。这也就是为什么站长会每个几周对网站页面内容的一个小更新，这是基于搜索引擎优化的技术。网络爬虫也经常采用个体更新的策略。它是以个别网页的变化频率来决定对网页的更新频率，这样一来基本上每个网页都会有一个独立的更新频率。