之前我一个朋友问我robots文件怎么写？robots文件是干嘛用的？其实robots文件是为了方便设置蜘蛛抓取或访问的部分，可以通过User-agent、Alow、Disallow这三种方法来设置，robots文件基本上是所有文章必备的文件，比如http://www.hkm168.com/robots.txt本网站也有。那么，robots文件具体是怎么用呢？
在网站优化的过程中，有时我们会有一些重要及私密的内容，并不希望这些页面被搜索引擎蜘蛛抓取，比如后台的数据、测试阶段的网站，还有一种很常见的情况，搜索引擎抓取了大量没有意义的页面，如电子商务网站按照各种条件过滤、筛选的页面等，那么要确保页面不被抓取需要使用robots文件。
robots文件怎么写？User-agent、Alow、Disallow的具体用法？
robots.txt是一个纯文本文件，我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分，当蜘蛛访问一个站点时，它会先检查该站点是否有robots. txt文件，一般我们放在根目录下，如果找到，蜘蛛就会根据文件中的内容来确定要抓取的范围，如果这个文件不存在，那么蜘蛛就会继续沿着链接去抓取，也就是只有要禁止抓取某些内容时，写robots文件才有意义。
robots.txt通常我们放在站点的根目录，我们应该都知道根目录是什么意思，这里不多做解释，文件名要全部小写，如果你想查看网站的robots协议，直接在域名后面加上robots.txt回车即可，下面介绍robots的语法。
robots文件的常用语法有3种，分别是 User-agent、Alow、Disallow，下面是具体用法。
(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛，如果针对所有搜索引擎蜘蛛的写法是 User-agent：*，通配符*代表所有搜索引擎。如果只是百度蜘蛛，那么正确写法是 User-agent:：Baiduspider，不同的搜索引擎蜘蛛的名称也不相同。
(2) Allow
允许蜘蛛抓取某些文件，比如允许蜘蛛访问网站中的news目录，正确写法是：Allow：/news/。
$：表示匹配URL结尾的字符，比如允许蜘蛛抓取以.html为后缀的URL，写法是：Allow：html$。
(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录，比如禁止蜘蛛抓取/admin/目录的写法是：Disallow：/admin/。
而禁止的目录或文件也要分开写，每个单独一行，比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录，正确的写法如下：
User-agent：*
Disallow：/a/
Disallow：/b/
Disallow：/c/
文本总结，相信大家已经知道robots文件怎么写了吧，如果还是不太清楚可以参考本网站的robots文件。笔者在这告诉大家一个快速生成robots文件的方法，可以通过站长工具来进行生成，再传上根目录即可。
本文地址：恩施频道 https://www.hkm168.com/enshi/311.html，易企推百科一个免费的知识分享平台，本站部分文章来网络分享，本着互联网分享的精神，如有涉及到您的权益，请联系我们处理，谢谢！
相关阅读
