SEO问题分析

SEO优化中怎么屏蔽不需要抓取的robots文件

作者:遵义SEO 来源:http://www.ubrworks.com/ 2017-04-07 15:34 我要评论( )

一、什么是robots.txt文件? 查找引擎运用spider程序主动拜访互联网上的页面并获取页面信息。spider在拜访一个网站时,会首先会查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取规划。您能够在您的网站

一、什么是robots.txt文件?
  查找引擎运用spider程序主动拜访互联网上的页面并获取页面信息。spider在拜访一个网站时,会首先会查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取规划。您能够在您的网站中创立一个robots.txt,在文件中声明 该网站中不想被查找引擎录入的有些或许指定查找引擎只录入特定的有些。
二、robots.txt文件对网站有啥优点?
  1、疾速增加网站权重和拜访量;
  2、制止某些文件被查找引擎索引,能够节约服务器带宽和网站拜访速度;
  3、为查找引擎供给一个简洁明了的索引环境
 
robots.txt文件
 
今天小编我在网上看到robots的写法,很多做个人站长的博客文章说法一大堆,也不知谁对谁错,到底robots该禁止那些文件呢?看着很多写的文章里面有对的但是也有错的,今天遵义SEO优化博客为各位大概总结一下:robots协议文件中应该屏蔽哪些文件下面举例列出来:
1、模板文件/template/</span>)可以屏蔽;这个是网站模板文件。
2、这个文件/uploads/一般放的是图片,可以屏蔽;对蜘蛛抓取没什么用。
3、/data/系统数据文件,可以屏蔽掉;
4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;
5、/bin/系统文件可以屏蔽;
6、/install/安装文件可以屏蔽;
7、/member/有会员的可以屏蔽;
8、/logreport/有统计报告的可以屏蔽;
9、/bjk/有加密的文件,可以屏蔽;
10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。
11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构!
说了这么多,大家不知道能不能看明白,如果没看明白的,可以打开浏览器看下我的遵义SEO博客robots文件怎么写的-http://www.ubrworks.com/robots.txt。或许对你有所帮助!
 
以上本文作者来自于遵义SEO优化原创撰写。《SEO优化中怎么屏蔽不需要抓取的robots文件》。

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

转载请注明:http://www.ubrworks.com/a/wtfx/277.html"
相关文章
  • 怎么屏蔽网站禁止搜索引擎的抓取?

    怎么屏蔽网站禁止搜索引擎的抓取?

    2017-10-18 14:27

  • AG亚游集团网站不收录的5大因素你知道吗?

    AG亚游集团网站不收录的5大因素你知道吗?

    2017-10-13 16:39

  • AG亚游集团SEO内部优化和外部优化的方法知识!

    AG亚游集团SEO内部优化和外部优化的方法知识!

    2017-10-13 16:23

  • AG亚游集团如何解决TAG标签的调用方法!

    AG亚游集团如何解决TAG标签的调用方法!

    2017-09-18 17:34

网友点评