新闻中心

中小企业品牌传播领跑者--帝佑

一站式网络营销解决方案


在网站优化中robots与nofollow分别都有什么作用。

什么是robots

石家庄网站优化,网站优化,seo优化


1.robots是一种协议一般robots是限制搜索引擎爬取的,简单来说就是对搜索引擎蜘蛛之间的一个协议,一般站长会用这个协议来告诉搜索引擎的蜘蛛允许哪个搜索引擎爬取,或者想要禁止爬取哪个文件。

比如:User-agent: *
   Disallow: /ab/

意思就是允许所以搜索引擎抓取,禁止抓取/ab/这个目录。

2.如果你只想某个搜索引擎来抓取你的信息,那么我们可以用robots进行设置,然后把我们想要让搜索引擎的设置允许,比如我们想专门让百度抓取,那么我们就应该这样设置

User-agent: Baiduspider
   Disallow:

Disallow:/

3. 我们还可以利用robots协议屏蔽网站里的URL,有的网站有不想让搜索引擎抓取网站其中的动态链接或者别的,那么我们就可以利用*通配符来进行设置,一般动态的链接都有一个特点就是末尾都存在一个符号就是“?”那么我们就可以这样设置

User-agent: Baiduspider
   Disallow:/*?*/

 

Robots与nofollow的区别

Robots是和搜索引擎蜘蛛达成的一个协议,也就是一个txt文本文件,作用就可以告诉搜索引擎的蜘蛛什么文件可以抓取,什么不可以抓取,然而nofollow的意思就是禁止蜘蛛抓取这个链接,他的主要作用是可以把没有必要的页面权重给集中掉,比如关于我们,联系我们,校园风采这些页面里面其实都有权重的,但是这些页面不重要不需要权重,所以就用到了nofollow属性来禁止一些不必要的页面分散权重。

 

以上就是robots于nofollow的区别,希望大家能灵活运用,这些知识能够帮助大家。