Nofollow与Robots之间有什么区别？seo新手一定要分清

对于大多数刚刚从事网站seo工作的以及一些正在自学seo的新手来说，可能会经常遇到两个让人拎不清的专业术语，一个是“nofollow”，还有一个就是“robots”。博主在刚刚接触seo的一段时间里，许久都没搞清楚这两个seo手法究竟有什么本质区别。难道它们的作用不都是屏蔽一些没用的页面，禁止那些垃圾页面以及不想让搜索引擎收录的页面被搜索引擎所发现吗？

这两者的区别还是很大的，用途也是完全不一样的。一个是针对的链接进行屏蔽处理，而一个针对的是站内页面进行的屏蔽处理，请注意，是站内页面，robots所起的作用只能作用于站内的页面（包括已经被删除的站内页面）。

什么是nofollow？

搜索引擎爬虫就如同一只只互联网之中的勤劳工作的蜜蜂一样，无时无刻地出门采集花蜜（新的内容，其中包括图片、视频以及文字），然后再将这些新采的花蜜运回蜂窝之中（搜索引擎的索引库）。而搜索引擎爬虫不负责鉴别信息的好坏，只负责来回两点一线的流水线式的工作日常，它们只负责飞出家门，四处沾花惹草，就行了。而互联网中的主体一般为网页，每个网页都有一个独一无二的身份标识——“链接”。

按照常理，我们只需要通过一个页面的链接就可以直接访问该网页了，但是其必然存在两个不可忽视的弊端：

1. 链接不方便于记忆。任凭谁的记忆再好，也不可能将自己所需要的页面链接都记住。况且，互联网上的信息瞬息万变，每秒钟都有成千上万的新页面在互联网上诞生，如果我们还靠传统的方式进行口头传播，将链接告知其他人，终究也是一种低效的传播方式，这也非互联网的初衷。
2. 人们难以发现新的有价值的内容。价值是相对的，同样的东西，有人有这方面的需求才会产生价值，如果没有需求，也就没有了其存在的价值了。但是绝大多数时候，并不是信息没有价值，而是综合信息量太大，如同汪洋大海中寻找一根针一般艰难。

于是，在互联网中，就形成了村落一般的系统性的网状结构。像一张蜘蛛网一样，每个节点之间都是可以互联的，不管是用户还是搜索引擎用户都可以通过到达一个网页，然后顺着该网页上的其他链接一直爬下去。这样的话，我们就可以将相关的网页组成一张网，用户可以顺着这些链接一直探寻未知内容。百度蜘蛛或者是其他搜索引擎爬虫就会通过这些链路一直爬下去，从而及时发现新的内容页面，然后带回索引库中经过搜索引擎算法筛选然后收录进搜索引擎。

搜索引擎对于互联网的意义是十分重要的一个入口，如果没有搜索引擎，用户很难快速找到自己所需的信息，而通过特定关键词便可以在搜索引擎中轻而易举地获得有用的信息。

而在搜索引擎的排名算法中，如果一个页面的链接在其他页面上获得的外部推荐链接阅读，该页面的权重也就越高，也会获得越好的排名。正因如此，很多人都曾钻过这个空子，发布大量的垃圾外链（在其他网站上或者自己网站上发布大量带有不相关内容的页面链接）从而让重要关键词快速获得好排名，鉴于此，搜索引擎对此又进行了算法改进。并且推出了“nofollow”这么一个标签来规范网页链接环境。

网站中的链接一旦被添加上“nofollow”标签之后，蜘蛛便不会给予该链接页面太多的权重，否则，如果页面上的外部链接没有被添加上“nofollow”标签，对于爬虫来说，如同朋友的朋友便是我的朋友一样，这个链接出现在你的页面上，自然也就获得了你的肯定，一切后果由你来承担。如果某个外部链接是一个通往色情或者赌博的页面，一旦对方网站被K了，你的网站也会因此受到连带责任，被搜索引擎降权或者直接被K。当然，这只是一个因素，另外还有页面相似度过高等因素也会导致这些严重的惩罚后果。“nofollw”的作用就在于可以告诉搜索引擎蜘蛛“该链接到底值不值得被信任”。

什么是robots？

“robots”是“robots.txt”的简称，一般会存放于网站的根目录。robots文件中一般会载明一些协议形式的内容，告知搜索引擎网站内那些那些链接可以被抓取收录，哪些不可以。搜索引擎爬虫一般在进入一个网站时，首先会访问robots协议，根据其中的规则来抓取被允许收录的页面。robots协议生效需要一定的时间，虽然说有的时候蜘蛛并不会按照规矩来，但是还是有一定的效用的。

百度蜘蛛的工作原理深入一讲

nofollow在实际运用当中到底与robots有何区别之处？

区别一：两种方法有长有短，可以互补。在实际优化工作之中，我们经常会遇到一个页面我们不想其被搜索引擎收录的情况，在这种情况下，用robots生成新的精致抓取的协议更加便捷，一劳永逸。因为你只要在robots中对该页面设置了屏蔽抓取以后，不管你的这个页面在网站中出现了多少次，都不会被爬虫抓取以及收录；而如果这种情况下使用nofollow标签来进行屏蔽的话，你会发现网站维护起来会异常麻烦，因为网站中的新页面难免有的石斛需要加上该链接，每加一次都要另外加一次nofollow标签，一旦有一次遗漏了，就很有可能会被搜索引擎给收录了。还有一种情况则相反，有一个页面我们希望它正常被收录获得排名，但是因为有的页面中关于此链接的重复链接太多了，会造成不好的影响，这时候就不适合用robots来屏蔽了，而是应该使用nofollow标签对部分重复链接进行屏蔽。

区别二：屏蔽的方式不同。nofollow针对的是访问路径进行屏蔽，挡住百度蜘蛛等爬虫的去路，而robots如同一个平台，我们在这个平台上对网站中的部分页面进行登记过了，以后但凡遇到这个链接页面，你都不要再多事了。这里需要注意的是，robots只针对站内页面有效，不能屏蔽其他网站的链接，而nofollow没有这个限制，这也是nofollow和robots比较重要的一个区别。

区别三：robots除了可以屏蔽特定页面以外还有其他一些实用功能。robots不仅可以屏蔽站内的页面还可以反方向屏蔽特定蜘蛛及其他网站爬虫程序的访问。比如有的时候，可能你的网站带宽较小，而在网站日志中看大某个没有用处的蜘蛛频繁性地访问你的网站，从而让服务器过于拥挤以至崩溃，这时就可以利用robots限制其访问权限。除了可以限制爬虫的访问权限以外，还可以在robots中载明sitemap地址，更有利于蜘蛛注意到sitemap并且快速抓取网站的新内容以及更新的页面。

关于nofollow与robots的区别差不多就以上这么多，希望可以帮助到各位新的seo同仁们更好地入门这个职业。更多有关于seo的相关内容请持续关注拿着灼热的铁个人博客。

一个新站该怎么做外链推广？什么是高质量外链？

百度“清风算法”让标题党再无立足之地

声明：文章为拿着灼热的铁个人博客（公众号：lattestory520）原创，未经允许，禁止转载！