高端响应式模板免费下载

响应式网页设计、开放源代码、永久使用、不限域名、不限使用次数

机器人协议是最容易忽略但致命的小细节。

在我看来,机器人协议是网站管理员行使网站控制权的执行文件,这是我们作为网站管理员最基本的权利。这是搜索引擎蜘蛛在爬上网站之前必须面对的第一个入口,所以机器人协议的重要性也是可以想象的。据说细节决定成败,那么更重要的事情是[& hellip;]

在我看来,机器人协议是网站管理员行使网站控制权的执行文件,这是我们作为网站管理员最基本的权利。这是搜索引擎蜘蛛在爬上网站之前必须面对的第一个入口,所以机器人协议的重要性也是可以想象的。据说细节决定成败,所以事情越重要,细节就越重要。一个你不小心忽略的细节最终可能成为你致命的一击。我之所以这样说,是因为我几乎成了这个问题的反面例子。幸运的是,及时找到它可以被认为是在修补一只丢失的羊。我想马上和你分享的原因是,我希望你在做你自己的事情时,避免犯类似的错误。

事实上,事情发生在今天,过程是这样的:因为小明seo博客刚刚完成,几天前,在网站上线后,我发现还有很多小问题需要解决。为了避免网站在调整过程中被搜索引擎捕获,我在机器人协议中写了一条指令,禁止所有搜索引擎抓取网站的任何部分。网站的调整持续了几天(之所以花了这么长时间,是因为我是一个不能容忍缺陷的人,我不知道这是否是一种强迫症)。直到昨天,2月3日,它才完全完成,但在此期间,我坚持每天增加原创文章。昨天检查完网站,所有的问题都解决了,我再次修改了机器人协议,并发了一个帖子,让蜘蛛希望爬行者能快点来爬我的网站。这样,今天早上我发现网站仍然没有被收录,所以我去了百度站长工具平台看看我的网站是怎么回事。我进去时吓了一跳,因为我看到了以下信息(如图所示):

我的网站实际上完全禁止了百度。测试时间为今日(二月四日)上午五时。这让我像张耳的和尚一样困惑。这太不科学了,因为我昨天在2月3日上午修改了网站的机器人协议。真的很奇怪。就在我困惑的时候,我终于通过站长平台工具的“机器人检测”找到了答案。请看下图:

原来百度蜘蛛在我的网站蜘蛛上线后的第三天就已经抓取了我网站的机器人协议,所以现在生效的协议就是我完全封杀蜘蛛时抓取的协议,而这个网站最新的机器人协议还没有生效。既然我终于明白了,既然我明白了原因,那就很容易做到。所以我立即提交并更新了协议,如下图所示:

协议在更新后一分钟内得到更新,如下图所示:

可以看到,这个网站上最新的机器人已经生效,所以下午,当我再次进入百度站长平台时,我收到了新的消息,如下图所示:

至此,根据机器人协议,该网站解除了对百度的全面禁令,测试时间为今天下午2点。大约三个小时前的晚上,当我再次查看网站时,网站的主页已经被包括在内了。下图:

网站最终被收录了,但让我最开心的是我发现了问题,并通过自己的努力解决了它。这是我今天最大的收获。当然,如果我找不到这个问题,网站在十天半内可能不会有所改进,所以我想提醒大家,机器人协议必须在从蜘蛛禁令解封到后期阶段时及时更新。这是一个不可忽视的小细节。也许根据他的常识,可以通过输入“http:\域名\robots.txt”来改变网站的协议,但实践证明这种方法并不完全可靠,所以这次我一定要记住我的经验和教训。一旦做出调整,机器人必须及时提交更新,否则蜘蛛抓到了它们不该抓到的东西,或者把蜘蛛挡在门外,拖延了它们的时间,这真的是无可厚非。

猜你喜欢