一个网站在上线之后，一定会设置一些相关细节性的东西，比如robots.txt协议文件，在seo优化竟争日益加剧的今日，本来开设之初无提升要素的robots.txt协议文档也被放大应用，把握其书写，防患于未然。
一：robots.txt协议文件有什么用？
引擎搜索浏览网站页面的当时，最开始浏览的文档也是robots.txt。她说出引擎搜索蛛蛛，什么网页页面能够被爬取，什么严禁爬取。表面来看，这个功能作用有限。从seo优化的视角看来，能够根据屏弊网页，超过密集综合排序的功效，这，都是提升工作员更为注重的地区。
以某seo站点为例，其robots.txt协议文件如图所示：
二：网站设置robots.txt协议的几个原因。
1:设置访问权限以保护网站安全。
2：严禁引擎搜索抓取失效网页，密集权值到关键网页。
三：怎么用标准写法书写协议？
有几个概念需掌握。
User-agent表示定义哪个搜索引擎，如User-agent：Baiduspider，定义百度蜘蛛。
Disallow表示禁止访问。
Allow表示运行访问。
以上三个命令可以组合多种书写方式，哪些搜索引擎可以访问哪些页面或者可以禁止哪些页面。
四：robots.txt协议文件放在那里？
此文件需放置在网站的根目录，且对字母大小有限制，文件名必须为小写字母。所有的命令第一个字母需大写，其余的小写。且命令之后要有一个英文字符空格。
五：哪些时候需要使用该协议。
1：没用网页，许多网址常有在线留言，用户协议等网页，这种网页取决于于seo优化而言，功效很小，这时必须应用Disallow指令严禁这种网页被引擎搜索爬取。
2：静态网页，企业类型站名屏弊静态网页，有益于网站安全。且好几个网站地址浏览相同网页，会导致综合排序细化。因此，通常，动态页面被屏蔽，静态或伪静态页面被保留。
3.网站后台页面，也可以被归类为无用页面，被禁止包含所有好处而没有任何伤害。
相关阅读
robots.txt文件是什么,应该放在哪里. 搜索引擎机器人通过链接到达互联网上的每个网页，并抓取网页信息。当搜索引擎机器人访问
robots.txt直接放在网站根目录下，是蜘蛛访问网站时，第一个抓取的文件。robots.txt是告诉蜘蛛网站的哪些文件允许抓取，哪些文件不允许
♚王平，一个IT老
前一段时间由于部分站长对robots文件的误读，导致了一则虚假消息的诞生--“新浪封杀门”，消息称新浪博客开始封杀百度蜘蛛
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交h
