<rp id="igllo"><object id="igllo"><blockquote id="igllo"></blockquote></object></rp>

    <dd id="igllo"></dd>
    <dd id="igllo"><track id="igllo"></track></dd>

    <dd id="igllo"><big id="igllo"></big></dd>
  • <legend id="igllo"><table id="igllo"></table></legend>
  • <ol id="igllo"><object id="igllo"><blockquote id="igllo"></blockquote></object></ol>
      <nav id="igllo"><center id="igllo"><td id="igllo"></td></center></nav>

        重庆小潘seo博客

        当前位置:首页 > 重庆网站建设 > 重庆seo >

        重庆seo

        小鑫优化:robots作用是什么与nofollow有哪些区别

        时间:2017-04-03 21:47:16 作者:重庆seo小潘 来源:互联网
        重庆网站建设今天就来谈谈小鑫优化:robots作用是什么与nofollow有哪些区别,先来说第一个问题robots作用是什么。
        重庆网站建设今天就来谈谈小鑫优化:robots作用是什么与nofollow有哪些区别,先来说第一个问题robots作用是什么。
        robots
        robots一般用于站长限制搜索引擎访问页面,所以说robots是网站跟搜索引擎爬虫间的协议,一般站长通过txt文本方式告诉搜索引擎爬虫被允许的权限,一般只要在根域名目录下,未设置目录访问权限的文件爬虫都可以抓取的到,如果网站跟搜索引擎之间没有协议,将使不可预知的大量信息泄露到网上,这不是双方愿意看到的。
        robots作用是什么
        1.如果网站改版了,整个文件夹都没有了的时候,这个情况下就要考虑屏蔽掉整个文件夹。我们可以运用robots来对这整个的文件夹进行屏蔽,例如网站里的ab文件夹因改版全都给删掉了,这个时候就可以这样子设置:
          User-agent: *
          Disallow: /ab/
        2.可以利用各种通配符对网站进行相对应的调配,例如我不想网站抓取我的所有图片,这个时候就可以运用$来进行设置。一般我们常见的图片的格式是BMP�.jpg-w600、GIF、JPEG等格式。这个时候设置就是:
          User-agent: *
          Disallow: /.bmp$
          Disallow: /.jpg-w600$
          Disallow: /.gif-w600$
          Disallow: /.jpeg-w600$
        3.如果你只想某一个搜索引擎抓取你的信息,这个时候就可以用robots进行设置,例如:我只想我的网站被百度这个收录,而不想被别的搜索引擎收录。就可以利用robots进行设置。
          User-agent: Baiduspider
          Allow:
          User-agent: *
          Disallow: /
        4.还可以利用*来屏蔽掉相关的URL,有些网站不允许搜索引擎抓取动态地址的时候可以利用这个*通配符来进行匹配设置。一般情况下动态URL的有一个特点就是有“?”这个时候我们就可以利用这个特性来进行匹配的屏蔽:
          User-agent: *
          Disallow: /*?*
        5.屏蔽所有的搜索引擎抓取信息,如果你的网站只是你的私密性的网站,不想太多的人知道的话,可以利用robots屏蔽掉所有的搜索引擎,例如你写的私人博客。你就可以把搜索引擎全都屏蔽掉。
        robots与nofollow有哪些区别
        robots文件是在根目录中的一个txt文本文件,里面用代码语句告诉蜘蛛什么可以抓取,什么不能抓取,从一开始就告诉了蜘蛛:“我有些东西不能让你看,请你自动绕开。”而nofollow属性的链接,意思是告诉蜘蛛这个链接你可以看看,但是跟我网站无关,不要给这个链接权重,这是比较直观的说法。
        说得更通俗点robots一开始就告诉蜘蛛我们什么链接不要去抓取,而对于nofollow标签来说,他无法节省我们的蜘蛛资源,连接中加了nofollow标签,蜘蛛还是会抓取这个链接,只是不传递权重,也就是我们的网站不对这个链接传递权重。
        转载请注明:www.adagio-pizza.com重庆网站建设

        青青国产成人久久111网站_双指探洞疼哭了_夫妻生活片_午夜a片无码区在线观看