搜索引擎的蜘蛛标志及其爬行原理

桐庐的SEO工作者对于搜索引擎蜘蛛的知识应该知道蜘蛛的工作原理：蜘蛛浏览网站时，会先看网站中的机器人文本文件。如果里面设置了不允许蜘蛛抓取的内容，那么蜘蛛就不会按照约定抓取这部分内容URL。蜘蛛都有自己的代理名，站长可以从日志中看到它们不同的名字，以便区分。以下名称在搜索引擎徽标中很常见：

白鲈鱼……

……兼容；雅虎！……

MSN bot-学术：……

如果你想让蜘蛛捕捉更多的东西，你需要跟随链接，一页接一页。它看起来像一只真正的蜘蛛在网上爬行，因此得名“蜘蛛”。

所有网址都是互相链接的，理论上蜘蛛可以从每一页爬到所有页面。然而，这些页面并不是简单的组合，蜘蛛必须通过其特定的爬行策略才能到达每个页面。

桐庐SEO需要学习蜘蛛抓取：两种抓取都不太复杂，广度深度优先。如果A是一个网站，那么a1、b1、c1是她接下来可以访问的链接，其中深度优先级是蜘蛛根据她看到的链接不断前进，在没有链接可以向前爬行的情况下，从第一页爬行到另一个链接。也就是说，从a到

而广度优先是从a→a1→b1→c1；a1→a2→a3→a4。先把a能连接的页面都访问完，再从a链接的下一个页面a1开始把a1链接的所有页面都访问完。这两种简单的访问方式，要是时间允许，蜘蛛用这两种方式分别都能够将网页浏览完。现实中这两种方式是一起使用，就可以为更多的网站服务，能浏览到更多的网站和网站里面的内容。

所以，就算是蜘蛛可以将一切页面爬行完，但是也不会这样子做。所以网站优化工作人员想把自己的网站收录更多内容，就要用一定策略吸引蜘蛛进行抓取。因为不可以每一个页面都能够抓取的到，所以蜘蛛会选择抓重要的内容。搜索引擎蜘蛛标识及爬行原理这篇已经写了出来，而蜘蛛认为重要的内容是怎样的呢，下一篇再详细讲一讲这方面的内容，敬请期待。