[ad_1]
Google擅長工作。有時，這太好了–索引頁面本來就找不到。
- 您的站點地圖中沒有包含不希望的網址。
- 孤立網址 未鏈接到您的網站。
- 您甚至可能不知道的異常URL。
大多數SEO專業人員擔心將頁面納入Google索引。但是，您還需要考慮將低價值頁面排除在索引之外。
讓我們深入探討為什麼減少索引頁面實際上可以導致更多的自然會話。以及不同的索引方法如何影響SEO。
什麼是指數膨脹？
索引膨脹是指網站上有太多由搜索引擎索引的低價值頁面。這些頁面通常是自動生成的，很少或沒有獨特的內容。
這些URL的存在對整個技術SEO流程具有級聯影響。
導致索引膨脹的常見URL類型包括：
- 從多面導航中過濾組合。
- 歸檔頁面混亂。
- 不受限制的標籤頁。
- 分頁 頁面。
- 不羈 參數 頁面。
- 過期內容 頁面。
- 未優化 現場搜索 結果頁。
- 自動生成的用戶資料很少的內容。
- 跟蹤網址。
- 將HTTP錯誤地處理為https。
- www與非www不一致。
- 不應建立索引的子目錄。
由於Googlebot在低價值路徑中的貧民窟，索引膨脹會降低抓取效率。這會減慢新內容的索引編製速度，並重新抓取具有SEO值的更新內容。
通常，索引膨脹包含重複的內容或導致關鍵字蠶食。來自一個站點的多個頁面競爭相同的搜索意圖，由於排名信號分散在許多URL中，搜索引擎會感到困惑哪個頁面最相關。這損害了網站排名最高的能力。
而且，如果低質量的網頁確實能夠排名，則搜索者可能會對目標網頁和pogostick感到失望。向Google發送不良的用戶體驗信號並損害您的品牌。
所有這些結合在一起，降低了搜索引擎眼中的域名質量評估。
這是一個問題，因為URL不僅根據其自身的優點進行排名，而且還基於其所屬的站點進行排名。
索引的每個頁面都會影響Google的質量演算法如何評估網站的聲譽。
Google網站管理員中心 狀態 那：
「網站某些部分上的低質量內容可能會影響整個網站的排名，從而刪除質量低下的頁面……最終可能會幫助您提高高質量內容的排名。」
約翰·穆勒 詳盡的 在2015年
「我們的質量演算法確實會從整體上看待網站，因此，他們也會看待被索引的所有內容。而且，如果我們發現大部分編入索引的內容實際上是質量較低的內容，那麼我們可能會說『嗯，也許這個網站的總體質量是較低的。而且，如果您可以告訴我們不要對這種質量較低的內容建立索引，也不應予以考慮，那麼我們可以真正專註於讓我們建立索引的高質量內容。」
再來 2017年三月。再來 2017年八月。再來 2017年十月。
這就是為什麼SEO的目標是不讓儘可能多的頁面進入索引。而是在搜索者和目標網頁之間進行有價值的匹配。
為了實現此目標，您應該只允許對要搜索者登陸的頁面進行索引，並對所有對搜索引擎或用戶沒有唯一價值的頁面進行索引。
如何診斷索引膨脹
Google Search Console（GSC）覆蓋率報告是識別導致索引膨脹的頁面類型的最快，最可靠的方法之一。
假設你的 XML網站地圖符合SEO最佳做法，因此僅包含與SEO相關的網址，只需查看已編入索引但未在站點地圖中提交的示例網址。
如果未對XML站點地圖進行優化，請運行無限制的搜尋工具，並將搜尋器選擇的可索引URL數量與有效頁面數量進行比較。
如果有效頁面比爬網URL明顯多，則可能存在索引膨脹問題。
不要使用網站：搜索高級運算符來計算被索引頁面的數量，這是非常不可靠的。
一旦確定了低價值的網頁將被取消索引，就值得對照Google Analytics（分析）數據交叉引用這些網址，以評估對自然會話的可能影響。
通常，由於它們的性質，不會有負面影響，但是最好在進行任何大規模的索引刪除之前先確定一下。
如何從Google對頁面進行索引
您可以通過多種機制將不需要的頁面彈出搜索引擎索引。每個都有自己的優點和缺點。
但是，大多數取消索引方法都是根據頁面類型的規則來修復索引膨脹。
這比依賴於逐頁方法的其他內容改進策略（例如內容重新發布）更容易實現。
1. 410已消失或2. 404頁面未找到
通過頁面返回410 HTTP狀態代碼（又稱「去」），伺服器可以快速為頁面取消索引。
這會向Google發出信號，表明該頁面已被有意刪除，使其比404代碼（也就是「未找到頁面」）更清晰，這將導致索引緩慢變慢。
對於任何擔心積累4xx「錯誤」的人，讓我放心。 Google對4xx代碼不收取任何罰款。但是，如果URL中有任何排名信號，則這些都將丟失。
指數膨脹預防得分：1/5
指數膨脹損傷控制得分：4/5
3. 301重定向
如果索引膨脹是由許多針對同一主題的頁面引起的，則可以將它們合併到具有301重定向的單個頁面中，併合並其排名信號。
為了使Google取消對重定向頁面的索引，它必須對原始URL進行爬網，請參閱301狀態代碼，將目標URL添加到爬網隊列中，然後處理內容以確認其性質相同。如果是這樣，將不加稀釋地傳遞排名信號。
如果目標URL在爬網隊列中的優先順序較低，這可能是一個緩慢的過程。如果您有重定向鏈，那麼這將是一個極其緩慢的過程。
此外，如果您重定向到不相關的頁面（例如首頁），則Google會將其視為軟404，並且不會傳遞排名信號。在這種情況下，一枚410消失了將獲得相同的結果，但索引刪除速度更快。
指數膨脹預防得分：1/5
指數膨脹損傷控制得分：3/5
4. Rel =規範鏈接
對於重複的內容URL，一個rel = canonical鏈接會向Google建議要索引哪個重複的URL。
如果標記被接受，則將對替代頁面（重複值較低的頁面）進行爬網，但頻率要低得多，並且將從索引中排除，將其排名信號傳遞給規範頁面（要索引的首選頁面）。
但是要被接受，內容必須高度相似，並且兩個網址都需要由Google抓取和處理，這可能有些慢。
指數預防膨脹評分：4/5
指數膨脹損傷控制得分：2/5
5. URL參數工具
在Google Search Console中，您可以指定Googlebot應該如何處理參數。
URL參數工具的三個明顯缺點是：
- 僅當URL基於參數時才有效。
- 除Google之外，它沒有解決其他任何搜索引擎的問題。
- 它僅用於控制爬網。
即使它不能直接控制索引編製，如果您在參數上指定「 No Crawl」，John Mueller 發表了評論 最終將這些URL從索引中刪除。
但這是有代價的，如果Googlebot無法抓取，則無法處理信號，這會影響排名，或者提取內部鏈接以添加到抓取隊列中，這可能會減慢網站索引的速度。
指數預防膨脹評分：3/5
指數膨脹損傷控制得分：1/5
6. Robots.txt
robots.txt文件中的Disallow指令可告知搜索引擎不允許其檢索哪些頁面。
與網址參數工具類似，它不能直接控制索引編製。如果頁面是從網路上的其他位置鏈接的， Google可能認為相關 包括在索引中。
此外，robots.txt內的屏蔽功能尚無法明確表明搜索引擎應如何處理當前已編入索引的網址。
因此，隨著時間的流逝，由於Google傾向於不包含無法抓取的頁面，因此頁面可能會從索引中刪除，這將是一個緩慢的過程。
指數膨脹預防得分：2/5
指數膨脹損傷控制得分：1/5
7. Noindex標籤
要明確阻止頁面被索引，您需要使用「 noindex」機器人元標記或X-Robots-Tag。請勿在robots.txt中使用noindex指令，因為搜索引擎不支持該指令。
知道noindex指令具有級聯影響：
- 防止添加或一旦處理就確保從搜索引擎中刪除索引。
- 導致非索引URL的檢索頻率降低。
- 停止歸因於URL的所有排名信號。
- 如果存在時間很長，也會導致頁面鏈接的「混亂」，這意味著Google不會將這些鏈接添加到抓取隊列中，並且排名信號也不會傳遞到鏈接的頁面。
指數預防膨脹評分：4/5
指數膨脹損傷控制得分：4/5
8.密碼保護
用密碼保護伺服器上的文件將使搜索引擎停滯不前。不能對URL進行爬網，建立索引或傳遞任何排名信號。
但這顯然也會阻止用戶，因此僅限於為您選擇要在登錄後移動的內容取消索引。
任何取消索引的操作都需要搜索引擎嘗試爬網URL路徑，看到它不再受歡迎，然後刪除內容。
這可能會花費一些時間，因為它在該部分中爬行的URL越多，它將越了解爬行預算中沒有返回任何值，並且在爬行隊列中越低，它將優先考慮相似的URL。
指數膨脹預防得分：2/5
指數膨脹損傷控制得分：1/5
9.刪除URL工具
如果您迫切需要從Google刪除網頁的索引， 刪除網址工具 是一個快速的選擇。請求通常在提交當天進行處理。
這裡的限制是這是一個臨時塊。成功的刪除請求將持續90天左右，然後內容才能重新出現在SERP中。
因此，這裡唯一有價值的用例是當您緊急需要阻止頁面但無法獲取資源時。如果要使頁面不在索引中，則需要在停電期結束之前採取其他措施。
指數膨脹預防得分：1/5
指數膨脹損傷控制得分：3/5
TL; DR
總體而言，預防勝於治療。
戰略性設計 網站架構 和一個 以用戶為中心的內容策略 在SEO中取得長期成功是必不可少的。
明智地使用規範鏈接和明智地使用meta robots noindex標記可以防止索引膨脹，從而支持這一點。
Google的記憶力特別長。抓取頁面後，Google可能會忘記它們。這可能會使索引刪除變得緩慢而乏味。
一旦制定了適當的降索引策略，請耐心等待。結果可能很慢，但變得不明顯，但值得。
SEO書獃子的語法注釋
它是搜索引擎的索引編製或索引編製，而不是索引編製或索引編製。除非你是法國人。
我真的希望SEO行業在實際上表示「索引」時不再使用「索引」一詞。
-巴里·亞當斯（@badams） 2017年4月24日
DYK表示，如果您3次發布「索引」推文， @badams 出現？ ? pic.twitter.com/ORjt6jEgUr
-傑米·阿爾貝里科（@Jammer_Volts） 九月11，2018
圖片積分
特色和後期圖片：作者創作，2019年10月
作者截取的所有屏幕截圖，2019年10月