[ad_1]
抓取預算是一個重要的SEO概念，往往被忽視。
有這麼多 任務 並且發布一個SEO專家必須記住，它經常被置於次要地位。
簡而言之，可以並且應該優化爬網預算。
在本文中，您將學習：
- 如何在此過程中改善抓取預算。
- 在過去幾年中，將更改作為一個概念進行爬行預算。
什麼是抓取預算
因此，對於我們這些已經有太多思考/擔心/出汗的人，我們忘記了爬行預算甚至意味著什麼，這裡是一個快速回顧。
抓取預算只是搜索引擎抓取工具（即蜘蛛和漫遊器）越過您網域網頁的頻率。
該頻率被概念化為a 暫時的平衡 Googlebot嘗試不會過度擁擠您的伺服器與Google整體抓取您的域名的願望之間的關係。
抓取預算優化只是一系列步驟，您可以專門用於提高搜索引擎機器人訪問您網頁的速度。
他們訪問的次數越多，進入索引的頁面就越快。
因此，您的優化工作將花費更少的時間來抓住並開始影響您的排名。
有了這個措辭，這聽起來肯定是我們每一秒都應該做的最重要的事情，對嗎？
好吧，不完全是。
為什麼抓取預算優化被忽略了？
要回答這個問題，你只需要看看這個 官方博客文章 由谷歌。
正如Google明確解釋的那樣，爬行本身並不是排名因素。
因此，僅憑這一點就足以阻止某些SEO專業人員甚至考慮爬行預算。
對我們許多人來說，「不是排名因素」等同於「不是我的問題」。
我全心全意地不同意這一點。
但即使忘了這一點，也有Google的Gary Illyes的評論。他說過 公然 當然，對於數百萬頁的龐大網站來說，抓取預算管理是有道理的。
但是如果你是一個規模適中的域名，那麼你就不必過多地關注爬行預算了。 （事實上，如果你真的擁有數百萬的頁面，你應該考慮削減一些內容，這對你的域名來說是有益的。）
但是，眾所周知，搜索引擎優化根本不是改變一個重要因素並獲得結果的遊戲。
SEO是一個進行小規模增量變更的過程，負責處理數十個指標。
我們的工作在很大程度上是為了確保儘可能優化成千上萬的小東西。
此外，儘管它本身並不是一個很大的爬行因素，正如谷歌的約翰穆勒那樣 指出，它有利於轉換和整體網站健康。
儘管如此，我認為確保您網站上的任何內容都不會影響您的抓取預算非常重要。
如何優化您今天的抓取預算
仍有一些超重型的東西，而其他人的重要性已發生巨大變化，甚至完全沒有相關性。
你還需要注意我稱之為網站健康的「常見嫌疑人」。
1.允許在Robots.Txt中抓取您重要的頁面
這是一個不費腦子的事情，也是一個自然的第一步也是最重要的一步。
管理robots.txt可以手動完成，也可以使用網站審核工具完成。
我希望儘可能使用工具。這是工具簡單方便有效的實例之一。
只需將您的robots.txt添加到您選擇的工具中，您就可以在幾秒鐘內允許/阻止抓取您網域的任何網頁。然後，您只需上傳已編輯的文檔即可！
顯然，任何人都可以手工完成。但根據我的個人經驗，我知道有一個非常大的網站，可能需要經常校準，讓工具幫助你更容易。
2.注意重定向鏈
這是網站健康的常識性方法。
理想情況下，您可以避免在整個域中使用單個重定向鏈。
老實說，對於一個非常大的網站來說，這是一項不可能完成的任務 – 301和302重定向 必然會出現。
但是，一堆鏈接在一起的，肯定會損害你的抓取限制，以至於搜索引擎的抓取工具可能只是停止抓取而不進入你需要索引的頁面。
這裡有一兩個重定向，可能不會對你造成太大的損害，但這是每個人都需要好好照顧的東西。
3.儘可能使用HTML
現在，如果我們正在談論谷歌，那麼必須要說它的爬蟲在相當好一點 抓取JavaScript 特別是，還改進了對Flash和XML的爬行和索引。
另一方面， 其他搜索引擎 還沒到那兒。
因此，我個人的立場是，只要有可能，你應該堅持使用HTML。
這樣，你肯定不會傷害任何爬行器的機會。
4.不要讓HTTP錯誤吃掉你的抓取預算
從技術上講， 404和410頁 吃掉你的爬行預算。
如果這還不夠糟糕，它們也會損害您的用戶體驗！
這正是為什麼修復所有4xx和5xx狀態代碼真的是一個雙贏的原因。
在這種情況下，我再次贊成使用工具進行網站審核。
SE排名和尖叫青蛙是SEO專業人員用來進行網站審核的幾個很棒的工具。
5.注意你的URL參數
請始終牢記，抓取工具將單獨的網址視為單獨的網頁，從而浪費寶貴的抓取預算。
再次，讓Google了解這些網址參數將是一個雙贏的局面，保存您的抓取預算，以及避免引起對重複內容的擔憂。
因此，請務必將其添加到您的Google Search Console帳戶。
6.更新您的站點地圖
再一次，處理XML站點地圖真的是雙贏。
機器人將有更好，更容易的時間來了解內部鏈接的引導。
僅使用適用於您的站點地圖的規範網址。
此外，請確保它對應於最新上傳的robots.txt版本。
7. Hreflang標籤至關重要
為了分析您的本地化頁面，抓取工具使用hreflang標記。你應該是 告訴谷歌 儘可能清楚地了解您網頁的本地化版本。
首先，使用<link rel =「alternate」hreflang =「LANG_CODE頁面標題中的「href =」url_of_page「/>。」lang_code「是一個代碼 支持的語言。
你應該使用
摘要
因此，如果您想知道爬網預算優化對您的網站是否仍然重要，那麼答案顯然是肯定的。
對於每個SEO專業人士來說，抓取預算是，現在，也可能是一個重要的事情。
希望這些提示可以幫助您優化抓取預算並提高SEO性能。
祝好運！
圖片來源
特色圖片：作者創建，2019年8月
截圖由作者拍攝，2019年8月