如何建立符合搜索引擎抓取习惯的网站

随着这两年百度搜索引擎每周更新网站数据，SEOer不断抛出一些关于搜索引擎新算法的猜测。百度站长平台也会在百度大算法出台之前，对站长平台上的站长进行预热，让靠作弊来排名的站长可能有一个网站被惩罚的心理准备，让辛苦排名的网站不会因为k而到处挨骂。

其实每次搜索引擎算法的变化，都是在让排名结果更真实、更公平的同时改进自己的算法，让用户体验更好，让更能满足用户需求的网站排名靠前，体现搜索引擎的价值。满足用户需求是站长在提供网站内容时需要做的，而搜索引擎算法毕竟是命令语言，还没有达到超智能的辨别水平。所以站长同志需要建立自己的网站，更加符合搜索引擎算法的技术标准。

一个网站获得排名最基本的要求就是通过搜索引擎获得网站页面的内容。建立一个符合搜索引擎抓取习惯的网站成为网站基础的重点。如何建设一个符合搜索引擎抓取习惯的网站？最近百度站长平台给出了自己的标准。

1、简单明了的网站结构

蜘蛛抓取相当于遍历网页的有向图，所以一个结构简单清晰，层次分明的网站一定是它的最爱，并且尽量保证蜘蛛的可读性。

(1)最佳树形结构是“首页-频道-详情页”；

(2)平面首页到详情页的层次尽量小，对抓取友好，能很好的转移重量。

(3)结网保证每个页面至少有一个文字链接，可以使网站尽可能全面的被抓取和收录。内链的构建也能对排序产生积极的作用。

(4)导航给每个页面添加一个导航，让用户知道自己在哪里。

(5)相信大量站长对子域和目录的选择有疑虑。我们认为，当内容较少且内容相关性较高时，建议以目录的形式实现，有利于权重的继承和收敛；当内容较大，与主站相关性稍差时，建议以子域形式实现。

2、简洁美观的url规则

(1)唯一网站中的同一内容页面只对应一个唯一的url，过多形式的URL会分散页面的权重，目标URL会在系统中被过滤；

(2)简明性动态参数尽量少，url尽量短；

(3)美观性使用户和机器能够通过url判断页面内容的主旨；

我们推荐以下几种形式的url:url尽量简短易读，以便用户快速理解，比如用拼音作为目录名；同样的内容只在系统中生成一个唯一的url与之对应，去掉无意义的参数；如果不能保证url的唯一性，可以尝试对目标url做不同形式的url301防止用户将错误的备用域名301键入主域名。

3、其他注意事项

(1)不要忽视那些倒霉的机器人文件。默认情况下，一些系统机器人会被禁止的搜索引擎捕获。网站建立后，及时检查并编写合适的robots文件，网站日常维护时注意定期检查；

(2)建立网站sitemap文件和死链文件，通过百度站长平台及时提交；

(3)部分电商网站存在区域跳转问题。有无库存建议做一个统一的页面，在页面中标注有无库存就可以了。不要返回一个无效的页面，如果在这个地区没有股票。由于蜘蛛出口有限，正常页面无法收录。

(4)合理利用站长平台提供的机器人、sitemap、指标量、抢压、死链提交、网站改版等工具。