如何制作网站地图并规范robots协议内容
文章来源：老客SEO
作者：老客SEO
人气：15
2019-05-12 17:09:26
网站地图的制作在seo优化中也是占据很重要一部分的，网站地图制作好了可以更加有利于蜘蛛对我们网站信息的检索与抓取，他会对网页信息进行方向引导，给搜索引擎蜘蛛的爬行提供一个路径，快速准确的抓取网站内容。
我们可以利用小爬虫工具、爱站工具等来生成网站地图。我们首先打开爱站工具包，选择网站地图，然后左侧选择添加网站，将网址输入后选择xml选项，将里面的顶部的所有文件选项勾选之后点击抓爬，完成后生成xml文件，最后将生成之后的sitemap后缀为html、xml、txt的文件上传到网站后台的根目录中即可。这样，只要有用户进入就会抓取了。
robots协议又是什么？该如何书写它呢？robot协议就是给搜索引擎蜘蛛的一个规定，我们利用这个文件来限制搜索引擎的抓取范围，尊重信息提供者意愿并维护其隐私权，保护我们的隐私不被搜索引擎抓取的一份内容。这个有我们自己进行编辑规定。
robots协议的编辑会用到三个标签：1、User-agent: 蜘蛛名称（这里个User-agent 指定搜索引擎蜘蛛名称）2、Disallow: 内容名称（代表要禁止抓取的内容）3、Allow:内容名称（代表允许抓取的内容）。这些标签后书写的就是协议的内容，还会用到3个通配符来编辑："*"表示涵盖所有搜索引擎；"$"表示以某字符串结尾；"/"表示当前目录下的所有内容。当编辑完协议内容后可在最后添加“Sitemap：网站域名/sitemap.xml”，用地图让蜘蛛更快速的抵达我们的网站。
SEO的日常工作比较细致，查看我们网站的日志也是需要关注的。从网站后台空间找到文件管理，然后打开logs文件，将最新的日志文件载到桌面，然后使用光年日志分析系统等工具对其进行分析，可以看到蜘蛛爬行过的记录以及一些问题，需要及时查看并解决掉。
上一篇：RTB广告是什么意思
下一篇：成功人士的七个习惯是什么？
