Google:不允許的網址不會影響抓取預算

[ad_1]
Google:不允許的網址不會影響抓取預算

谷歌的Gary Illyes更新了他關於抓取預算的原始文章,並澄清了不允許的網址。

該文件現在包括以下信息:

「問:我通過robots.txt禁止訪問的網址是否會以任何方式影響我的抓取預算?

答:不,不允許的網址不會影響抓取預算。「

該問題涉及robots.txt中阻止網頁抓取工具的「User-agent:* Disallow:/」協議。

它可以用於阻止整個網站被抓取,也可以用來阻止特定網址被抓取。

根據Illyes的更新,阻止特定網址不會影響網站其餘部分的抓取預算。

由於網站上的其他網頁不允許抓取,因此不會更頻繁地抓取網頁。

在抓取預算時,禁止使用網址也沒有任何不利之處。

更新的信息顯示在此底部 文章,這是2017年的Webmaster Central博客文章。

Illyes在Twitter上說,有計劃將博客文章變成官方的幫助中心文章。

相關文章