什么是robots.txt？

文章来源：SEO教程作者：SEO培训人气：15 2022-07-25 09:51:33

Robots.txt是一个纯文本文件。通过在该文件中声明本网站不想被机器人访问的部分，本网站的部分或全部内容不能被搜索引擎收录，或者指定搜索引擎只收录指定的内容。

当搜索机器人访问一个站点时，它会首先检查该站点的根目录中是否存在robots.txt。如果找到，搜索机器人会根据文件内容确定访问范围。如果文件不存在，搜索机器人将沿着链接抓取它。