什么是robots.txt
robots.txt是一种用于告诉搜索引擎哪些页面可以被抓取的文件，在网站根目录下的robots.txt文件中，网站管理员可以设置搜索引擎的爬虫可以抓取哪些页面，哪些页面不应该抓取，以及抓取的频率等参数。
如何查看robots.txt文件
要查看某个网站的robots.txt文件，只需要在该网站的域名后面加上“/robots.txt”，如： 即可。如果该网站没有设置robots.txt文件，则会返回一个404错误代码。
robots.txt文件的语法
robots.txt文件的语法比较简单，主要分为两部分：user-agent和disallow。
User-agent用于指定搜索引擎的爬虫，有以下几种常见的类型：
Disallow用于指定不允许搜索引擎爬取的页面或目录，例如：
```
User-agent: *
Disallow: /admin/
```
上面的代码表示禁止所有搜索引擎的爬虫访问网站的/admin/目录。
还可以使用Allow指令，指定某些目录可以被搜索引擎爬取，例如：
User-agent: Googlebot
Allow: /admin/login.php
上面的代码表示禁止谷歌搜索引擎的爬虫访问网站的/admin/目录，但可以访问/admin/login.php页面。
如何编写robots.txt文件
一般情况下，网站管理员只需要在robots.txt文件中添加不允许搜索引擎爬取的页面或目录即可，例如：
Disallow: /wp-admin/
Disallow: /wp-includes/
上面的代码表示禁止所有搜索引擎的爬虫访问网站的/wp-admin/和/wp-includes/目录。
如果需要更具体的指定不同搜索引擎的爬虫的访问权限，可以使用以下代码：
User-agent: Bingbot
上面的代码表示禁止谷歌搜索引擎的爬虫访问网站的/wp-admin/和/wp-includes/目录，禁止必应搜索引擎的爬虫访问/wp-includes/目录。
总结
robots.txt文件是告诉搜索引擎哪些页面可以被抓取的文件，通过查看robots.txt文件，网站管理员可以了解网站的爬取规则。编写robots.txt文件也很简单，只需要在文件中添加不允许搜索引擎爬取的页面或目录即可。
