一个网站如果”/robots.txt”不存在或者为空文件，那么说明此网站对于所有的搜索引擎robot，该网站都是开放的。
从京东和淘宝的robots.txt文件协议来看，robots.txt文件要讲究语法的.
三个语法
1、User-agent ——用于描述搜索引擎robot的名字，定义搜索引擎类型。
2、Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址。
3、Allow——希望被访问的一组UR。
a、 * 匹配0或多个任意字符。
b、 $ 结束符。
首先写User-agent：
A、U必须大写，后面的小写，紧接着冒号 ——这里还要注意一点：输入法必须调成英文状态，都是英文状态下的）
B、空一格再定义搜索引擎类型。比如定义百度蜘蛛
再写
Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址，或 Allow——希望被访问的一组UR。
Disallow: /(空一格，一撇)
Allow: /(空一格，一撇)
举例：
1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
3.禁止Google索引你的网站。
User-agent: Googlebot
Disallow: /
4.除了百度以外，其他一切搜索引擎禁止索引你的网站。
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
5. 禁止所有搜索引擎访问install这个目录以及install这个目录下的所有文件
User-agent: *
Disallow: /install
6.禁止百度搜索引擎访问admin目录；允许访问images目录。
User-agent: Baiduspider
Disallow: /admin
Allow: /images
7.禁止百度搜索引擎访问网站所有.jpg的图片
User-agent: Baiduspider
Disallow: /*.jpg$
8.禁止百度搜索引擎访问网站所有的图片
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
9.禁止所有搜索引擎访问admin目录下所有php文件；允许访问asp文件。
User-agent: *
Disallow: /admin/*.php$
Allow: /admin/*.asp$
10.禁止所有搜索引擎索引网站中所有的动态路径。
User-agent: *
Disallow: /*?*
重点区分以下两种：
a、禁止搜索引擎访问faq目录下的所有文件
User-agent: *
Disallow: /faq/
例1：http://www.binweb/faq/1.html 不能访问
例2：http://www.binweb/faq1.html 能访问
b、禁止搜索引擎访问以faq开头的所有文件
User-agent: *
Disallow: /faq
例1：http://www.binweb/faq/1.html 不能访问
例2：http://www.binweb/faq1.html 不能访问
识别扫一扫二维码咨询，斌网网络做网站
电话咨询
联系我们