详解Robots.txt的各个数值

搜索引擎使用蜘蛛程序自动访问互联网上的网页，获取网页信息。蜘蛛在访问一个网站时，会先检查网站的根域下是否有一个名为robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robot.txt，在该文件中声明您不希望机器人访问的网站部分或指定搜索引擎蜘蛛只包括特定部分。这里提醒一下，请注意：只有当你的网站不希望所有的搜索引擎都收录它的时候(比如你网站的背景页)，才使用robots.txt文件。如果您希望所有搜索引擎都包含您的网站，请创建一个空的robots.txt文件。

1.首先告诉大家robots.txt文件要放在你网站的根目录下。当你修改了你的robots.txt，一般在48小时内生效(针对搜索引擎)。

2.如果你想禁止搜索引擎在搜索你的网站时显示快照，而只是索引你的网站，该怎么做？百度支持设置网页meta，防止搜索引擎显示网站快照。该方法如下：

要防止所有搜索引擎显示您网站的快照，请将此meta标签放在网页的头部：

meta name=" robots " content=" no archive "

要允许其他搜索引擎显示快照，但仅阻止百度显示快照，请使用以下标签:

meta name=" baiduspider " content=" no archive "

注意：这个标记只是禁止百度显示这个网页的快照。百度将继续对网页进行索引，并在搜索结果中显示网页摘要。

3.我们先来看看robots.txt怎么写，它的格式是什么样的。

文本以User-agent:作为文本记录开始。价值怎么样？它是描述搜索引擎机器人的名称。

比如要引用百度搜索引擎，可以写成User-agent: baiduspider。

同样的谷歌是用户代理3360 GoogleSpider。例如，如果你想描述SOSO image spider，你可以写User-Agent : sosoimagespider。如果要针对所有搜索引擎，User-agent: *是所有搜索引擎的汇总。

Robots.txt除了第一项还有另外两项，User-agent:DisAllow: Allow:但是user-agent 3360是唯一一项。它后面可以跟一些Disallow和allow行，这就是格式。

用户代理： *

不允许：

不允许：

不允许：

Allow:

Allow:

Allow:

根据需要添加任意多的禁止和允许行。好了，我接着说Disallow，就是告诉搜索引擎我不希望我网站的那些页面被收录。您可以使用Disallow的描述来限制搜索引擎。我们举个例子。例如，我想限制所有搜索引擎包括我的后台目录管理员。那我们该怎么办？看一看。

用户代理： *

不允许：/admin/

要百度的话，不要收录我的这个目录。其实搜索引擎能做什么？我们之前谈过了。

用户代理： baiduspider

不允许：/admin/

如果你想禁止所有搜索引擎访问整个网站，你应该怎么做？让我们看一看。

用户代理： *

不允许：/

如果你想禁止访问多个文件夹怎么办？例如，我想禁止访问管理图像数据的三个文件夹。

用户代理： *

不允许：/Admin/

不允许：/image/

不允许：/data/

让我们解释一下Allow是做什么的。实际上，这个允许和不允许是相反的。允许意味着以下路径，我希望搜索引擎访问我的网站。Allow通常与Disallow连用。我们举个：的例子。

我想允许访问特定目录中的一些网址。例如，我不希望他访问我的管理目录，但我希望他访问我的管理目录中的hdd.html。我该怎么办？这个时候，我们可以用Allow。我们举个例子。

用户代理： *

allow :/管理/硬盘

不允许：/Admin/

对了，robots.txt中可以使用“*”和“$”:百度蜘蛛支持使用通配符“*”和“$”来模糊匹配URL。

$ '匹配行结束符。

* '匹配0个或多个任意字符。

例如，使用“*”来限制对url的访问。禁止访问所有”。/iea/目录中的. htm "后缀。

URL(包括子目录)。

用户代理： *

不允许：/iea/*。html文件的后缀

让我们再举一个关于使用“$”来限制访问URL的例子。只有带后缀"的URL。htm "被允许访问。

用户代理： *

Allow:htm$

不允许： /