robts文件的介绍、写作语法及robots meat标签的写法

robots文件是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况。

1、robots介绍：

搜索引擎机器人又叫搜索蜘蛛，在访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt文件。如果存在，搜索引擎机器人就会按照该文件中的内容来确定访问范围；如果该文件不存在，那么搜索引擎机器人就会沿着链接去抓取。

robots.txt必须放在一个网站的根目录下，而且文件名必须全部小写。如：fuwei.seowhy.com/robots.txt。

只有在需要禁止抓取某些内容时，写robots.txt才有意义。有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能是搜索机器人错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots文件。

2、robots写作语法：

首先我们来看一个范例：fuwei.seowhy.com/robots.txt/

user-agent后面为搜索机器人名称，如果是“*”号，则泛指所有的搜索引擎机器人；Disallow 后面是不允许访问文件目录，如果目录为空则不起任何禁止作用。

下面例举一些robots.txt的具体用法。

允许所有的搜索机器人访问，格式如下：

user-agent: *

Disallow:

或者也可以创建一个空的robots.txt文件。

禁止所有搜索引擎访问网站的任何部分，格式如下：

user-agent: *

Disallow: /

禁止所有搜索引擎访问网站的某几个部分，比如需要禁止访问a、b、c、目录：

user-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

禁止某个搜索引擎的访问，如禁止百度访问：

user-agent: Baiduspider

Disallow: /

只允许某个搜索引擎的访问，如只对百度访问

user-agent: Baiduspider

Disallow:

user-agent: *

Disallow: /

3、robots meta写法：

另外，有必要进行拓展说明，对robots meta进行一些介绍：

robots meta标签中没有大小写之分，mame=”robots”表示所有搜索引擎，可以针对某个具体搜索引擎写为：mame=”baiduspider”。content部分有四个指令选项：index、noidex、follow、nofollow，指令间以“，”分离。

index指令告诉搜索引擎机器人抓取该页面

follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

robots meta 标签的缺省值是index和follow，只有inktomi（早期出现的搜索引擎）除外，对于它，缺省值是index,nofollow。

具体写法为以下4种：

1、<meta name=”robots”  content=”index,follow”>

2、<meta name=”robots”  content=”noindex,follow”>

3、<meta name=”robots”  content=”index,follow”>

4、<meta name=”robots”  content=”noindex,follow”>

其中<meta name=”robots”  content=”index,follow”>

可以写成：

<meta name=”robots”  content=”all”>

而：

<meta name=”robots”  content=”noindex,follow”>

可以写成

<meta name=”robots”  content=”none”>

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于robots meta标签，目前支持的并不多，但是正在逐渐增加。Googie是完全遵守的。