Typecho添加Robots.txt文件

什么是robots

Robots协议（也称为爬虫协议、机器人协议等）全称是 “网络爬虫排除标准”（Robots Exclusion Protocol），是国际互联网界通行的道德规范，Robots 是站点与spider沟通的重要渠道，站点通过 robots 告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。

robots 如何工作

搜索引擎机器人访问网站时，首先会寻找站点根目录有没有robots.txt文件，如果有这个文件就根据文件的内容确定收录范围，如果没有就按默认访问以及收录所有页面。

Rotots.txt

在了解了robots之后，我们可以依照robots的语法以及你网站的实际情况来编写一个符合你自己的robots文件，下面就是我自己的Typecho网站的robots.txt文件。

User-agent: *
Disallow: /install/
Disallow: /config.inc.php
Disallow: /install.php
Disallow: /admin/
Sitemap: https://zxxz.xyz/sitemap.xml