[ad_1]
抓取預算是一個經常被忽略的至關重要的SEO概念。
有這麼多 任務 和問題，搜索引擎優化專家必須記住，它經常被放回去。
簡而言之，爬網預算可以而且應該被優化。
在本文中，您將學習：
- 如何一路提高抓取預算。
- 在過去的幾年中，將更改作為概念進行細化。
什麼是抓取預算
因此，對於那些想起/擔心/汗水如此之多的人，我們甚至忘了抓取預算意味著什麼，這裡有個簡短的回顧。
抓取預算只是搜索引擎的抓取工具（即蜘蛛和漫遊器）遍歷您的域頁面的頻率。
該頻率被概念化為 暫定平衡 在Googlebot不會使您的伺服器超負荷的嘗試與Google總體上對您的域進行爬網的願望之間。
抓取預算優化只是您可以專門採取的一系列步驟，以提高搜索引擎的漫遊器訪問您網頁的速度。
他們訪問的次數越多，進入頁面更新索引的速度就越快。
因此，您的優化工作將花費更少的時間來把握並開始影響您的排名。
有了這樣的措辭，這聽起來確實像我們每個人都應該每秒做的最重要的事情，對嗎？
好吧，不完全是。
為什麼會忽略抓取預算優化？
要回答這個問題，您只需要看一下 官方博客文章 由Google提供。
正如Google明確解釋的那樣，爬網本身並不是排名因素。
因此，僅此一項就足以阻止某些SEO專業人員甚至不必考慮爬網預算。
對我們許多人來說，「不是排名因素」等同於「不是我的問題」。
我全心不同意。
但即使忘記了這一點，也有Google的Gary Illyes的評論。他說過 徹底 對於一個擁有數百萬個頁面的龐大網站，可以肯定的是，抓取預算管理是有意義的。
但是，如果您是一個規模適中的域，那麼您不必對抓取預算過分關注。 （實際上，如果您確實擁有數百萬個頁面，則應考慮剪切某些內容，這通常對您的域是有益的。）
但是，眾所周知，SEO絕不是改變一個大因素並獲得結果的遊戲。
SEO是一個非常小的，漸進式更改的過程，需要照顧許多指標。
在很大程度上，我們的工作是確保儘可能優化數千個微小的小事情。
此外，儘管它本身並不是一個主要的爬行因素，但正如Google的John Mueller一樣 指出，這對轉化和網站整體健康很有幫助。
綜上所述，我認為重要的是要確保您的網站上沒有任何東西正在積極地損害您的抓取預算。
今天如何優化您的抓取預算
仍然有些事情非常繁重，而其他事情的重要性卻發生了巨大變化，以至於根本沒有意義。
您仍然需要注意我所說的網站運行狀況的「常見嫌疑人」。
1.允許在Robots.Txt中爬行您的重要頁面
這是不費吹灰之力，自然而然的第一步，也是最重要的一步。
可以通過人工方式或使用網站審核工具來管理robots.txt。
我寧願儘可能使用工具。這是工具更加方便和有效的一種情況。
只需將robots.txt添加到您選擇的工具中，即可讓您在幾秒鐘內允許/阻止抓取您域中的任何頁面。然後，您只需上傳編輯後的文檔，瞧！
顯然，任何人都可以手工完成。但是根據我的個人經驗，我知道在一個非常大的網站上，可能需要經常進行校準，因此讓工具幫助您變得容易得多。
2.當心重定向鏈
這是網站健康的常識性方法。
理想情況下，您將能夠避免在整個域上甚至只有一個重定向鏈。
老實說，對於大型網站而言，這是一項不可能完成的任務– 301和302重定向 必然會出現。
但是，這些鏈接在一起的一堆肯定會損害您的抓取限制，以至於搜索引擎的抓取工具可能會簡單地停止抓取而不會進入需要索引的頁面。
在這裡進行一兩次重定向，可能不會對您造成太大傷害，但這仍然是每個人都需要注意的事情。
3.儘可能使用HTML
現在，如果我們在談論Google，那麼必須說它的搜尋器在 抓取JavaScript 特別是在Flash和XML的爬網和索引編製方面也有所改進。
另一方面， 其他搜索引擎 還沒到那兒。
因此，我個人的觀點是，應儘可能使用HTML。
這樣一來，您肯定不會因為任何爬蟲而損失機會。
4.不要讓HTTP錯誤佔用您的檢索預算
從技術上講 404和410頁 吃掉您的抓取預算。
如果這還不夠糟糕，那麼它們也會損害您的用戶體驗！
這就是為什麼修復所有4xx和5xx狀態代碼確實是雙贏的原因。
同樣，在這種情況下，我贊成使用網站審核工具。
SE排名和Screaming Frog是SEO專業人員用來進行網站審核的兩個很棒的工具。
5.注意URL參數
請始終記住，抓取工具會將單獨的網址視為單獨的頁面，這浪費了寶貴的抓取預算。
同樣，讓Google知道這些URL參數將是雙贏的局面，既可以節省抓取預算，又可以避免引起對重複內容的擔憂。
因此，請確保將它們添加到您的Google Search Console帳戶中。
6.更新您的站點地圖
再一次，照顧您的XML網站地圖是一次真正的雙贏。
機器人將更好，更輕鬆地了解內部鏈接的位置。
僅使用適用於您的站點地圖的URL。
另外，請確保它對應於robots.txt的最新上傳版本。
7. Hreflang標籤至關重要
為了分析您的本地化頁面，搜尋器使用hreflang標籤。而你應該 告訴Google 儘可能清楚地了解頁面的本地化版本。
首先，使用<link rel =「 alternate」 hreflang =「lang_code頁面標題中的「 href =「 http://tracking.feedpress.it/url_of_page」 />。其中「 lang_code」是 支持的語言。
您應該使用
摘要
因此，如果您想知道爬網預算優化對於您的網站是否仍然很重要，答案顯然是肯定的。
對於每位SEO專業人員而言，抓取預算過去是，過去曾經是，而且可能會很重要。
希望這些技巧將幫助您優化抓取預算並提高SEO性能。
祝好運！
圖片積分
特色圖片：Paulo Bobita
作者拍攝的所有屏幕截圖