[ad_1]
Google的 指數覆蓋率報告 絕對很棒，因為它可以使SEO更加清晰地了解Google的抓取和編製索引決策。自推出以來，我們幾乎每天都在Go Fish Digital使用它來為客戶大規模診斷技術問題。
在報告中，有許多不同的「狀態」可為網站管理員提供有關Google如何處理其網站內容的信息。儘管許多狀態提供了有關Google的爬網和索引編製決策的背景信息，但仍不清楚：「已爬網-當前未建立索引」。
自從看到報告為「已抓取-當前未建立索引」狀態以來，我們已經聽到一些網站所有者在詢問其含義。在代理機構工作的好處之一是能夠掌握大量數據，並且由於我們已經在多個帳戶中看到了此消息，因此我們開始從報告的URL中了解趨勢。
Google的定義
讓我們從官方定義開始。根據 Google的官方文件，此狀態表示：「頁面已被Google抓取，但未編入索引。將來可能會或可能不會將其編入索引；無需重新提交該URL即可進行抓取。」
因此，基本上我們知道的是：
- Google可以訪問該頁面
- Google花時間抓取頁面
- 搜尋後，Google決定不將其包含在索引中
理解這種狀態的關鍵是思考Google為何會「有意識地」決定反對建立索引的原因。我們知道Google找不到頁面很麻煩，但是由於某種原因，它覺得用戶不會從頁面中受益。
這可能非常令人沮喪，因為您可能不知道為什麼您的內容沒有被編入索引。下面，我將詳細說明我們團隊看到的一些最常見的原因，以解釋這種神秘狀態可能會影響您的網站的原因。
1.誤報
優先順序：低
我們的第一步是始終對「已爬網-當前未建立索引」部分中標記的URL進行幾次抽查，以建立索引。找到被報告為排除在外但最終被歸入Google索引的URL並不少見。
例如，以下網址在我們網站的報告中被標記：https://gofishdigital.com/meetup/
但是，使用網站搜索運算符時，我們可以看到該URL實際上包含在Google的索引中。您可以通過在URL之前附加文本「 site：」來實現。
如果您看到在此狀態下報告的網址，建議您首先使用網站搜索運算符來確定該網址是否已建立索引。有時，這些結果都是誤報。
解決方案：什麼都不做！你很厲害。
2. RSS feed URL
優先順序：低
這是我們看到的最常見的例子之一。如果您的網站使用RSS Feed，則可能會找到出現在Google的「已抓取-當前未建立索引」報告中的URL。很多時候，這些URL的末尾會附加「 / feed /」字元串。它們可以這樣顯示在報告中：
Google找到了從首頁鏈接的這些RSS feed URL。它們通常會使用「 rel = alternate」元素進行鏈接。 WordPress插件（例如Yoast）可以自動生成這些URL。
解決方案：什麼都不做！你很厲害。
谷歌很可能有選擇地選擇不對這些URL編製索引。如果導航到RSS feed URL，則會看到一個XML文檔，如下所示：
儘管此XML文檔可用於RSS feed，但Google無需將其包含在索引中。由於內容並非針對用戶，因此這將提供非常差的體驗。
3.分頁網址
優先順序：低
「抓取-當前未編入索引」排除的另一個極為常見的原因是分頁。我們經常會在此報告中看到大量的分頁URL。在這裡，我們可以看到在一個非常大型的電子商務網站上出現了一些分頁的URL：
解決方案：什麼都不做！你很厲害。
Google將需要通過分頁URL進行爬網以獲得網站的完整爬網。這是其獲取內容的途徑，例如更深的類別頁面或產品描述頁面。但是，儘管Google使用分頁作為訪問內容的途徑，但不一定需要索引分頁的URL本身。
如果有的話，請確保您不做任何事情來影響單個分頁的抓取。確保所有分頁均包含 自我參照規範標籤 並且沒有任何「 nofollow」標籤。這種分頁是Google抓取您網站上其他關鍵頁面的一種途徑，因此您肯定希望Google繼續抓取它。
4.過期產品
優先順序：中
在對報告中列出的各個頁面進行抽查時，我們在客戶中看到的一個常見問題是URL包含的文本標記為「過期」或「缺貨」產品。尤其是在電子商務網站上，Google似乎檢查以查看特定產品的可用性。如果確定產品不可用，它將繼續從索引中排除該產品。
從用戶體驗的角度講，這是有道理的，因為Google可能不想在用戶無法購買的索引中包含內容。
但是，如果您的站點上實際提供了這些產品，則可能會導致許多SEO機會錯失。通過將頁面從索引中排除，您的內容根本沒有機會排名。
此外，Google不僅會檢查頁面上的可見內容。在某些情況下，我們在可見內容中未發現該產品不可用的指示。但是，在檢查結構化數據時，我們可以看到 「可用性」屬性 設置為「 OutOfStock」。
Google似乎從可見內容和結構化數據中獲取了有關特定產品可用性的線索。因此，請務必同時檢查內容和架構。
解決方案：檢查庫存可用性。
如果在此報告中列出了實際可用的產品，則需要檢查所有可能被錯誤地列為不可用的產品。對您的網站進行爬網並使用 自定義提取工具，例如Screaming Frog’s 從產品頁面抓取數據。
例如，如果您想大規模查看架構設置為「 OutOfStock」的所有URL，則可以將「 Regex」設置為：「 availability」：
這個： 「 class =」 redactor-autoparser-object「> http://schema.org/OutOfStock」 應該會自動使用此屬性抓取所有網址：
您可以使用Excel或商業智能工具導出此列表並與庫存數據進行交叉引用。這應該可以使您迅速找到站點上的結構化數據與實際可用產品之間的差異。可以重複相同的過程來查找可見內容表明產品已過期的實例。
5. 301重定向
優先順序：中
我們看到的一種有趣的示例是重定向頁面的目標網址。通常，我們會看到Google在搜尋目標網址，但未將其包含在索引中。但是，在查看SERP時，我們發現Google正在為重定向URL編製索引。由於重定向URL是被索引的URL，因此目標URL被扔到「已爬網-當前未索引」報告中。
這裡的問題是Google可能尚未識別重定向。結果，它將目標URL視為「重複」，因為它仍在索引重定向URL。
解決方案：創建一個臨時sitemap.xml。
如果這是在大量網址上發生的，則值得採取步驟向Google發送更強的合併信號。此問題可能表明Google無法及時識別您的重定向，從而導致內容信息不統一。
一種選擇是設置「臨時站點地圖」。您可以創建此站點地圖來加快對這些重定向URL的爬網。這是一個策略 約翰·穆勒（John Mueller）以前曾建議。
要創建重定向，您將需要對過去創建的重定向進行反向工程：
- 從「已抓取-當前未建立索引」報告中導出所有URL。
- 在Excel中將它們與以前設置的重定向進行匹配。
- 在「已抓取-當前未建立索引」存儲桶中找到所有具有目標URL的重定向。
- 使用Screaming Frog創建這些URL的靜態sitemap.xml。
- 上載站點地圖，並在Search Console中監視「已抓取-當前未建立索引」報告。
Google的目標是使Google可以比其他方式更頻繁地抓取臨時sitemap.xml中的URL。這將導致更快地合併這些重定向。
6.內容薄
優先順序：中
有時，我們會發現此報告中包含的URL內容很少。這些頁面可能具有正確設置的所有技術元素，甚至可能已在內部正確鏈接，但是，當Google進入這些URL時，頁面上的實際內容很少。下面是一個產品類別頁面的示例，其中很少有唯一文本：
該產品列表頁被標記為「已爬網-當前未編製索引」。這可能是由於頁面上的內容太薄。
該頁面可能太薄而無法讓Google認為它有用，或者內容太少而被Google認為是另一頁面的副本。結果是Google從索引中刪除了內容。
這是另一個示例：Google能夠在Go Fish Digital網站（如上所示）上搜尋推薦組件頁面。雖然此內容是我們網站獨有的內容，但Google可能不相信單句推薦書應該單獨作為可索引頁面。
由於缺乏質量，谷歌再次做出行政決定，將頁面從索引中排除。
解決方案：添加更多內容或調整索引信號。
下一步將取決於對這些頁面建立索引的重要性。
如果您認為該頁面一定包含在索引中，請考慮添加其他內容。這將幫助Google看到該頁面，從而為用戶提供更好的體驗。
如果您不需要為所要查找的內容建立索引，那麼更大的問題就在於您是否應該採取其他步驟來強烈暗示不應將該內容編入索引。 「已抓取-當前未編入索引」報告表明該內容符合出現在Google索引中的條件，但Google選擇不包含該內容。
可能還有其他一些低質量的頁面，而Google並未對其應用此邏輯。您可以執行常規的「站點：」搜索以找到符合與上述示例相同的條件的索引內容。如果您發現索引中包含大量此類頁面，則可能需要考慮採取更強有力的措施來確保將這些頁面從索引中刪除，例如「 noindex」標記，404錯誤，或者將其從您的索引中刪除內部鏈接結構完全。
7.重複的內容
優先順序：高
在眾多客戶中評估此排除條件時，這是我們看到的最高優先順序。如果Google認為您的內容重複，它可能會抓取內容，但選擇不將其包含在索引中。這是Google避免SERP重複的一種方式。通過從索引中刪除重複的內容，Google可以確保用戶擁有更多種類的唯一頁面來與之交互。有時，報告會將這些URL標記為「重複」狀態（「重複，Google選擇了與用戶不同的規範」）。然而，這並非總是如此。
這是一個高度優先的問題，尤其是在許多電子商務網站上。諸如產品描述頁面之類的關鍵頁面通常包含與整個Web上許多其他結果相同或相似的產品描述。如果Google在內部或外部都認為它們與其他頁面過於相似，則可能會將它們全部排除在索引之外。
解決方案：將唯一的元素添加到重複的內容。
如果您認為這種情況適用於您的網站，請按照以下方法進行測試：
- 摘錄潛在的重複文本，並將其粘貼到Google中。
- 在SERP URL中，將以下字元串追加到末尾：「＆num = 100」。這將顯示前100個結果。
- 使用瀏覽器的「查找」功能查看您的結果是否出現在前100個結果中。如果不是這樣，您的結果可能會從索引中過濾掉。
- 返回SERP URL，並將以下字元串追加到末尾：「＆filter = 0」。這應該顯示Google未過濾的結果（謝謝， 帕特里克·斯托克斯（Patrick Stox），為小費）。
- 使用「查找」功能搜索您的URL。如果您現在看到頁面，則表明您的內容已從索引中過濾掉。
- 對一些URL重複此過程，這些URL可能具有重複或非常相似的內容，您在「已抓取-當前未建立索引」報告中看到這些內容。
如果您持續看到網址從索引中被過濾掉，則需要採取措施使您的內容更加獨特。
雖然沒有一個萬能的標準可以實現這一目標，但這裡有一些選擇：
- 重寫內容，使其在高優先順序頁面上更加獨特。
- 使用動態屬性將獨特的內容自動注入到頁面上。
- 刪除大量不必要的樣板內容。模板文本多於唯一文本的頁面可能會被重複讀取。
- 如果您的網站依賴於用戶生成的內容，請告知貢獻者所有提供的內容都應該是唯一的。這可能有助於防止提供者在多個頁面或域中使用相同內容的情況。
8.面向私人的內容
優先順序：高
在某些情況下，Google的抓取工具可以訪問他們不應該訪問的內容。如果Google找到開發人員環境，則可以在報告中包含這些URL。我們甚至看到了Google抓取為JIRA票證設置的特定客戶子域的示例。這引起了網站的爆炸性爬網，該站點集中於不應考慮用於索引的URL。
這裡的問題是Google對網站的抓取沒有重點，並且花了很多時間抓取（並可能將其編入索引）不適合搜索者的URL。這可能會對網站的抓取預算產生巨大影響。
解決方案：調整您的爬網和索引編製計劃。
該解決方案將完全取決於情況和Google能夠訪問的內容。通常，您要做的第一件事就是確定Google如何發現這些面向私人的網址，尤其是通過內部鏈接結構來查找時。
從主要子域的主頁開始爬網，並查看Screaming Frog是否可以通過標準爬網訪問任何不需要的子域。如果是這樣，可以肯定地說Googlebot可能正在尋找完全相同的途徑。您需要刪除與此內容的任何內部鏈接，以切斷Google的訪問許可權。
下一步是檢查應排除的URL的索引狀態。 Google是否已將所有這些都充分排除在索引之外，還是有些人被索引夾住了？如果Google沒有為大量此類內容編製索引，則您可以考慮調整robots.txt文件以立即阻止抓取。如果沒有，則「 noindex」標籤，規範和受密碼保護的頁面都在桌子上。
案例研究：重複用戶生成的內容
對於一個實際示例，這是我們在客戶端站點上診斷問題的實例。該客戶端類似於電子商務站點，因為它們的許多內容由產品描述頁面組成。但是，這些產品描述頁面都是用戶生成的內容。
本質上，允許第三方在此站點上創建列表。但是，第三方經常在其頁面上添加非常簡短的描述，從而導致內容稀疏。經常發生的問題是這些用戶生成的產品描述頁面被「已抓取-當前未建立索引」報告所捕獲。這導致錯過SEO機會，因為能夠生成自然流量的頁面被完全排除在索引之外。
通過上述過程，我們發現客戶的產品描述頁面在獨特內容方面非常薄。被排除的頁面似乎只有一段或更少的唯一文本。此外，頁面上的大部分內容是所有這些頁面類型中都存在的模板化文本。由於頁面上唯一的內容很少，因此模板化的內容可能導致Google將這些頁面視為重複項。結果是Google以「已抓取-當前未建立索引」狀態從索引中排除了這些頁面。
為了解決這些問題，我們與客戶合作，確定每個產品描述頁面上不需要存在哪些模板內容。我們能夠從數千個URL中刪除不必要的模板內容。隨著Google開始認為每個頁面更加獨特，這導致「已爬網-當前未建立索引」頁面的顯著減少。
結論
希望這可以幫助搜索營銷人員更好地理解「索引覆蓋率」報告中神秘的「已爬網-當前未建立索引」狀態。當然，Google可能會選擇許多其他原因來對此類URL進行分類，但這是迄今為止我們與客戶見過的最常見的實例。
總體而言，「索引覆蓋率」報告是Search Console中功能最強大的工具之一。我會極力鼓勵搜索營銷人員熟悉數據和報告，因為我們通常會發現次優的抓取和索引行為，尤其是在大型網站上。如果您在「已抓取-當前未建立索引」報告中看到了其他網址示例，請在評論中告訴我！