有关Typecho的robots.txt

前言

为了可以让搜索引擎更快、更好的收录网站内容,基本的 SEO 还是要做的,本篇文章介绍 robots.txt。

Robots.txt

Robots协议(也称为爬虫协议、机器人协议等)全称是“网络爬虫排除标准”(Robots Exclusion Protocol),是国际互联网界通行的道德规范,Robots是站点与spider沟通的重要渠道,站点通过robots告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守


简单来说,robots.txt 是为了告诉搜索引擎哪些内容要收录,哪些不要收录,还可以告诉搜索引擎网站的 sitemap 地址。

robots.txt基本语法

注意:robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写

  • User-agent:描述搜索引擎robot的名字
    即 : 你可以指定该规则只对baidu 或者google 或者其它指定搜索引擎有效 可用通配符 *表示全部
  • Disallow: 描述不希望被访问的一组URL
    即:设定禁止访问的部分,可以用完整url,也可以用相对路径,可以是单个目文件,也可以是整个文件夹,也可以用通配符限定指定类型
  • Allow: 描述希望被访问的一组URL
    即:设定允许访问的部分,不过因为默认是全部允许的,这个语法通常是配合disallow使用的,用它来完成 如“除了xxx.html该目录下全部不能访问”这样的设定。 要注意的是allow和disallow的顺序是有讲究的,搜索引擎会以它先看到的规则为判断标准。
  • Sitemap:指示蜘蛛去爬取网站的sitemap文件
  • 通配符:"$" 匹配行结束符;"*" 匹配0或多个任意字符

如何辨别自己网站是否配置了robots.txt呢?

第一种方法:访问网址 http(s):你的域名/robots.txt即可
第二种方法:通过 [百度站长工具] 来检测

创建

创建 robots.txt 方法很简单:在网站根目录位置新建 robots.txt 文件,文件内容为下方格式

#
# robots.txt for typecho
#
 
User-agent: *
Disallow: /admin/
Disallow: /install/
Disallow: /var/
Disallow: /config.inc.php
Disallow: /install.php 
Sitemap: https://for.886a.top/sitemap.xml
Sitemap: https://www.886a.top/baidu_sitemap.xml

内容根据自己情况更改即可

版权声明:
作者:羽翼
链接:https://for.886a.top/archives/703
来源:星空社区
文章版权归作者所有,未经允许请勿转载。

文章结束,喜欢就分享吧
分享
二维码