robots.txt和机器人自指的标签
文章来源：SEO教程
作者：SEO培训
人气：10
2022-06-30 10:12:12
robots.txt和robots meta标签
搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。
一、 robots.txt
1、 什么是robots.txt？
robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
网站 URL
相应的 robots.txt的 URL
www.w3.org/
g-left: 5.4pt; width: 258.7pt; padding-right: 5.4pt; border-top: #ece9d8; border-right: windowtext 1pt solid; padding-top: 0cm"> www.w3.org/robots.txtDisallow: / n 允许所有的robot访问 User-agent: *
Disallow: 或者也可以建一个空文件 "/robots.txt" file n 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录） User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/ n 禁止某个搜索引擎的访问（下例中的BadBot） User-agent: BadBot
Disallow: / n 只允许某个搜索引擎的访问（下例中的WebCrawler） User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: / n 常见搜索引擎机器人Robots名字
| 名称 | 搜索引擎 |
| Baiduspider | www.baidu.com |
| Scooter | www.altavista.com |
| ia_archiver | www.alexa.com |
| Googlebot | www.google.com |
| FAST-WebCrawler | www.alltheweb.com |
| Slurp | www.inktomi.com |
| MSNBOT | search.msn.com |
www.google.com/robots.txt
www.ibm.com/robots.txt
www.sun.com/robots.txt
www.eachnet.com/robots.txt 5、 常见robots.txt错误 n 颠倒了顺序： 错误写成 User-agent: *
Disallow: GoogleBot 正确的应该是： User-agent: GoogleBot
Disallow: * n 把多个禁止命令放在一行中： 例如，错误地写成 Disallow: /css/ /cgi-bin/ /images/ 正确的应该是 Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/ n 行前有大量空格 例如写成 Disallow: /cgi-bin/ 尽管在标准没有谈到这个，但是这种方式很容易出问题。 n 404重定向到另外一个页面： 当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。 n 采用大写。例如 USER-AGENT: EXCITE
DISALLOW:
虽然标准是没有大小写的，但是目录和文件名应该小写：
user-agent:GoogleBot
disallow: n 语法中只有Disallow，没有Allow！ 错误的写法是： User-agent: Baiduspider
Disallow: /john/
allow: /jane/ n 忘记了斜杠/ 错误的写做： User-agent: Baiduspider
Disallow: css 正确的应该是 User-agent: Baiduspider
Disallow: /css/ 下面一个小工具专门检查robots.txt文件的有效性： www.searchengineworld.com/cgi-bin/robotcheck.cgi 二、Robots META标签 Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。 Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。 INDEX 指令告诉搜索机器人抓取该页面； FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去； Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。 这样，一共有四种组合： <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 其中 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成
<META NAME="ROBOTS" CONTENT="ALL">； <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成
<META NAME="ROBOTS" CONTENT="NONE"> 需要注意的是：上述的robots.txt和Robots META标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。 目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如： <META NAME="googlebot" CONTENT="index,follow,noarchive"> 表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
上一篇：SEO的三要素标题、关键词和外部链接
下一篇：没有了
相关文章
-
你认为按职称加工资好还是按工龄加工资好？
文章来源：老铁商城2020-01-06 -
月薪5万，要求你出国务工2年，中途不得回家，你愿意吗？
文章来源：老铁商城2020-01-06 -
公司派我去非洲工作，每天1000元补助，要不要去？
文章来源：老铁商城2020-01-06 -
是什么让你坚持上班没有离职呢？
文章来源：老铁商城2020-01-06 -
我已60岁，企业破产了，负债一千多万，怎样东山再起？
文章来源：老铁商城2020-01-06 -
如果腾讯、阿里、百度同时聘用你，你会选择哪一个公司？为什么？
文章来源：老铁商城2020-01-06 -
如果你痴迷钓鱼，每月给你10000块，钓遍全国的工作你愿意干吗？
文章来源：老铁商城2020-01-06
