站长们都知道,很多时候搜索引擎收录的网站页面都不是我们想让它收录的页面,这一点着实让人烦恼,尤其是网站后台地址,一旦被百度收录,那么网站的安全性就存在很大的隐患,这时候robot.txt文件的作用就可以体现出来了,只要在文件中屏蔽到蜘蛛的访问,百度就不能收录你不想被收录的页面了,这样既可以集中网站的权重,对搜索引擎优化十分有利。在介绍robot.txt写法之前,先来说说这个东西是干嘛的。从字面意思上来看robots代表的是机器人,从后缀名来看,是个txt文档,通过这个名字可以看出这个文件是给搜索引擎蜘蛛机器人看的一个文件。