robots.txt协议怎么写?User-agent、Alow、Disallow的具体用法?

作者:武汉网络公司 来源:全网营销 2019-06-22 14:49

之前我一个朋友问我robots文件怎么写?robots文件是干嘛用的?其实robots文件是为了方便设置蜘蛛抓取或访问的部分,可以通过User-agent、Alow、Disallow这三种方法来设置,robots文件基本上是所有文章必备的文件,比如http://www.hkm168.com/robots.txt本网站也有。那么,robots文件具体是怎么用呢?


网站优化的过程中,有时我们会有一些重要及私密的内容,并不希望这些页面被搜索引擎蜘蛛抓取,比如后台的数据、测试阶段的网站,还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站按照各种条件过滤、筛选的页面等,那么要确保页面不被抓取需要使用robots文件。
 

robots
robots文件怎么写?User-agent、Alow、Disallow的具体用法?



robots.txt是一个纯文本文件,我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分,当蜘蛛访问一个站点时,它会先检查该站点是否有robots. txt文件,一般我们放在根目录下,如果找到,蜘蛛就会根据文件中的内容来确定要抓取的范围,如果这个文件不存在,那么蜘蛛就会继续沿着链接去抓取,也就是只有要禁止抓取某些内容时,写robots文件才有意义。

robots.txt通常我们放在站点的根目录,我们应该都知道根目录是什么意思,这里不多做解释,文件名要全部小写,如果你想查看网站的robots协议,直接在域名后面加上robots.txt回车即可,下面介绍robots的语法。

robots文件的常用语法有3种,分别是 User-agent、Alow、Disallow,下面是具体用法。

(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛,如果针对所有搜索引擎蜘蛛的写法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正确写法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名称也不相同。

(2) Allow
允许蜘蛛抓取某些文件,比如允许蜘蛛访问网站中的news目录,正确写法是:Allow:/news/。
$:表示匹配URL结尾的字符,比如允许蜘蛛抓取以.html为后缀的URL,写法是:Allow:html$。

(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录,比如禁止蜘蛛抓取/admin/目录的写法是:Disallow:/admin/。
而禁止的目录或文件也要分开写,每个单独一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录,正确的写法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

文本总结,相信大家已经知道robots文件怎么写了吧,如果还是不太清楚可以参考本网站的robots文件。笔者在这告诉大家一个快速生成robots文件的方法,可以通过站长工具来进行生成,再传上根目录即可。


本文地址:恩施网络推广频道 http://www.hkm168.com/enshi/311.html,武汉易企推网络公司,是一家专业的武汉网络推广,网络营销,品牌营销策划,品牌推广公司,提供一站式全网营销推广服务:小程序开发,网站建设,SEO百度排名,SEM竞价托管,品牌营销推广、360搜狗百度竞价开户、百度地图标注、百科词条创建修改、新媒体引流加粉、公司负面公关处理等;另外,转载本文请保留本文地址,谢谢!


相关文章相关文章
本地企业
              可提供上门服务

便捷

本地企业可提供上门服务

提供适合、专业可行方案

周到

提供适合、专业可行方案

5-10分钟售后响应机制<

贴心

5-10分钟售后响应机制

按效果收费,无效果不收费

放心

按效果收费,无效果不收费

行业高标准,效果稳定可靠

稳定

行业高标准,效果稳定可靠

1-3个月排名上百度首页

快速

1-3个月排名上百度首页

武汉易企推网络公司;公司地址:武汉市武昌区静安路6号5.5创意产业园4楼;公司官网:http://www.hkm168.com

服务热线:18120550335 / 027-88866235 欢迎来电咨询; 联系QQ:1193073039

Copyrigh©2017-2030 版权所有:武汉易企推网络科技有限公司 备案号:鄂ICP备17012199号 网站地图