Google:不允许的网址不会影响抓取预算


Google:不允许的网址不会影响抓取预算

谷歌的Gary Illyes更新了他关于抓取预算的原始文章,并澄清了不允许的网址。

该文件现在包括以下信息:

“问:我通过robots.txt禁止访问的网址是否会以任何方式影响我的抓取预算?

答:不,不允许的网址不会影响抓取预算。“

该问题涉及robots.txt中阻止网页抓取工具的“User-agent:* Disallow:/”协议。

它可以用于阻止整个网站被抓取,也可以用来阻止特定网址被抓取。

根据Illyes的更新,阻止特定网址不会影响网站其余部分的抓取预算。

由于网站上的其他网页不允许抓取,因此不会更频繁地抓取网页。

在抓取预算时,禁止使用网址也没有任何不利之处。

更新的信息显示在此底部 文章,这是2017年的Webmaster Central博客文章。

Illyes在Twitter上说,有计划将博客文章变成官方的帮助中心文章。

Total
0
Shares
相关文章