robots.txt文件设置方法

现在免费的网站程序越来越成熟，用网站程序一天就可以做很多网站。大家都喜欢在网上做网站，就是通过FTP工具直接把网站程序上传到服务器空间，安装好之后再开始添加内容。但是由于网站在规划设计阶段并不是那么完美，有些东西往往需要修改才能完全确定，而做SEO的人都知道，或者说百度谷歌对于变化频繁的新网站通常的做法是将其放入观察期。因为搜索引擎会认为你的网站还不稳定，所以很多人想到设置robots.txt文件来禁止搜索引擎抓取网站的更新内容。网站设计完成后，进行相应的设置或者直接删除这个文件，让搜索引擎抓取我们的网站页面。

这个文件可以帮到我们很多，但是服务器下没有。我们可以在本地写好之后上传到服务器的根目录。下面是一些它的功能和编写方法的例子。(注意我陈述的情况。大小写必须一致，因为该文件区分大小写。)

(允许所有搜索引擎抓取任何内容)

用户代理：*

不允许：

(禁止所有搜索引擎抓取任何内容)

用户代理：*

不允许：/

(告诉所有搜索引擎不要抓取aaa和bbb目录。这是一个神奇的网站。内容和123.html文件)

用户代理：*

不允许：/aaa/

不允许：/bbb/

这是一个非常棒的网站。/123.html

(告诉除百度以外的所有搜索引擎，不允许爬aaa目录的123.htm文件)

用户代理：Baiduspider

不允许：

用户代理：*

不允许：/aaa/

Disallow:123.htm

(告诉搜索引擎不要抓取aaa目录和文件，但可以抓取aaa目录中的bbb内容)

用户代理：*

不允许：/aaa/

Allow:/aaa/bbb/

(告诉谷歌允许抓取所有带有。html后缀，百度不允许抓取所有带。html后缀，并且禁止所有搜索引擎在。jpg格式)

用户代理：googlebot

Allow:html$

用户代理：baiduspider

不允许：html$

用户代理：*

不允许：jpg$

(告诉蜘蛛不要抓取任何文件。asp后缀)

用户代理：*

不允许：/*。白杨

以上是robots.txt文件在网站中的作用，供大家参考。