[ad_1]
谷歌的Gary Illyes更新了他關於抓取預算的原始文章,並澄清了不允許的網址。
該文件現在包括以下信息:
「問:我通過robots.txt禁止訪問的網址是否會以任何方式影響我的抓取預算?
答:不,不允許的網址不會影響抓取預算。「
該問題涉及robots.txt中阻止網頁抓取工具的「User-agent:* Disallow:/」協議。
它可以用於阻止整個網站被抓取,也可以用來阻止特定網址被抓取。
根據Illyes的更新,阻止特定網址不會影響網站其餘部分的抓取預算。
由於網站上的其他網頁不允許抓取,因此不會更頻繁地抓取網頁。
在抓取預算時,禁止使用網址也沒有任何不利之處。
更新的信息顯示在此底部 文章,這是2017年的Webmaster Central博客文章。
Illyes在Twitter上說,有計劃將博客文章變成官方的幫助中心文章。