Robots 协议相关
文章目录

禁止所有 SE 收录本站

1
2
User-agent: * 
Disallow: /

允许所有 SE 收录本站

robots.txt 为空就可以,什么都不要写

或者

1
2
User-agent: *
Disallow:

允许单个 SE 收录

这里禁止了全部然后允许了 Google

1
2
3
4
5
User-agent: Google
Disallow:

User-agent: *
Disallow: /

禁止某个 SE 收录

例如禁止百度

1
2
User-agent: Baiduspider 
Disallow: /

禁止所有SE收录网站的某些目

1
2
3
4
User-agent: * 
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

只允许特定文件收录

这样 folder 文件夹里面的文件都无法收录, 但是文件夹外面的可以被收录

1
2
User-agent: *
Disallow: /~joe/folder/

Reference

https://www.robotstxt.org/robotstxt.html