Robots 协议相关
文章目录

禁止所有 SE 收录本站

1
2
3
4
5
6
7
8
9
User-agent: * 
Disallow: /
```

## 允许所有 SE 收录本站

robots.txt 为空就可以,什么都不要写

或者

User-agent: *
Disallow:

1
2
3
4

## 允许单个 SE 收录

> 这里禁止了全部然后允许了 Google

User-agent: Google
Disallow:

User-agent: *
Disallow: /

1
2
3

## 禁止某个 SE 收录
>例如禁止百度

User-agent: Baiduspider
Disallow: /

1
2
3
4
5
6
7
8
9
10
11
12
13

## 禁止所有SE收录网站的某些目

```
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
```

## 只允许特定文件收录

>这样 folder 文件夹里面的文件都无法收录, 但是文件夹外面的可以被收录

User-agent: *
Disallow: /~joe/folder/


## Reference

https://www.robotstxt.org/robotstxt.html