高端响应式模板免费下载

响应式网页设计、开放源代码、永久使用、不限域名、不限使用次数

如何写机器人协议

如何写机器人协议?其实很简单,但是在学习如何写机器人协议之前,重庆徐三会先告诉你关于机器人协议的符号理解!只有这样,机器人协议才能被有效地使用!

机器人协议是什么

机器人协议是指定搜索引擎蜘蛛根据编写的机器人协议进行爬行,并与编写的命令相关联地执行。

二.机器人协议中符号的引入和书写

1 .用户代理:为不同的蜘蛛定义相应的规则

2 .不允许:不需要访问的路径

3 .允许:允许抓取路径

举出例子;

用户-代理:*以下内容适用于所有搜索引擎

不允许:/(禁止搜索引擎抓取网站上的任何内容)

不允许:/*?*(禁止搜索引擎抓取动态页面)

不允许:/admin/(防止搜索引擎抓取管理员的内容)

允许:/page/(允许搜索引擎抓取的连接)

网站地图:(希望百度抓取网站地图)

网站地图:(希望谷歌抓取网站地图)

链接:当网站中有死链接时,我们可以使用机器人来阻止它们,并通知搜索引擎这些链接不应该被捕获。

地图:我们希望当搜索引擎抓取网站地图时,我们可以把网站地图放入机器人。

总结:写机器人协议有很多方法。如果你不太理解,不要做整个事情,否则你的网站会有不同的效果(哈哈)。你在写作的时候也应该注意仔细阅读,否则你在受阻的时候就找不到任何理由了!因此,我想提醒你,你必须注意机器人协议。

猜你喜欢