高端响应式模板免费下载

响应式网页设计、开放源代码、永久使用、不限域名、不限使用次数

如何有效屏蔽百度蜘蛛

很多时候,我们不会屏蔽百度蜘蛛,但也有必要屏蔽一些不必要的爬行,如一些大型门户网站,登录页面或注册页面,一些不希望百度蜘蛛爬行的文件可以使用机器人协议完成,然后重庆徐三徐将解释屏蔽百度蜘蛛的具体方法。

一.机器人协议

我相信每个人都熟悉机器人协议。首先,由于我们需要使用机器人协议,我们需要创建一个记事本,将记事本重命名为机器人,然后我们将机器人协议写下来如下:

用户代理:badbotunallow:/

然后保存并通过ftp工具上传到网站的根目录。

Ii .机器人元标签

机器人的元标签也可以阻止百度蜘蛛爬行。这种方法类似于机器人,但不被一些搜索引擎所支持。robots meta在单独设置几个页面时使用。代码写在< head >中。<。/head>。之间,如下图所示:

<。head>。

<。meta name = " robots " content = " index,follow" />。

<。/head>。

3.htaccess掩码

如果你不能用机器人完全封锁你的网站,你可以找到。网站根目录下的htaccess阻止代码如下:

方法1:

重写引擎打开

重写第二% { http _ user _ agent } ^baiduspider[NC]

重写器。* & # 8211;[f]

方法2:

setenvifnocase用户代理& # 8220;^baiduspider”;bad_bot

<。限制获取帖子>

订单允许,拒绝

允许所有人

拒绝自env=bad_bot

<。/limit>。

内容摘要:百度蜘蛛的筛选方法有很多,以上方法都可以参考,重庆徐三认为还是机器人协议seo比较好,所以其他方法可以及时使用,但是不推荐这样做,因为小心一步犯了错误,会导致麻烦!

猜你喜欢