[ad_1]
谷歌的約翰·穆勒(John Mueller)說,沒有基準可以確定網站的最佳爬網預算。
這是為了回應 Reddit線程 搜索引擎優化(SEO)詢問Googlebot每天應爬網的網頁中是否有理想的百分比。這個問題背後的想法是,如果Googlebot定期抓取內容,則內容可能會保持新鮮。
這是完整的問題:
「雖然每個人都在談論抓取預算,但我沒有找到具體的限制或範圍。例如,每天應由GoogleBot抓取的頁面總數(或每天進行的總更改)中的最小百分比應該是什麼,以確保內容新鮮?
我了解這可能會有很大的不同,因為很多內容取決於網站上的靜態/可變內容。我只是想了解如何對抓取預算進行基準測試。」
作為回應,穆勒只是簡單地說:「沒有數字。」
因此,如果您希望增加抓取預算,那麼實際上沒有理想的目標。但是,這並不是說優化網站的抓取預算沒有任何好處。
什麼是抓取預算?
簡而言之,抓取預算是Googlebot能夠抓取(基於網站速度)並且想要抓取(根據用戶需求)的URL數量。
較高的抓取預算可以幫助使熱門內容保持最新狀態,並有助於防止較舊的內容過時。
看到: Google的Gary Illyes解釋了Googlebot抓取預算
影響抓取預算的因素
改善檢索預算的最佳方法之一是限制網站上低附加值URL的數量,例如:
- 分面導航和會話標識符
- 現場重複內容
- 軟錯誤頁面
- 被黑的頁面
- 無限空間和代理
- 低質量和垃圾郵件內容
這些類型的頁面可以使抓取活動從網站上更重要的頁面中竊取。
建議網站所有者在Search Console中監控抓取錯誤報告,並將伺服器錯誤保持在最低水平。
另請參閱: 優化SEO抓取預算的7個技巧