[ad_1]
SEO中最未充分利用的資源是 搜索引擎結果頁面 （養老金計劃）。
我不僅僅意味著查看我們的網站對特定關鍵字或關鍵字集的排名，我的意思是SERP的實際內容。
對於您在Google中搜索的每個關鍵字，您在其中展開SERP以顯示100個結果，您平均會發現大約3,000個單詞。
這是很多內容，它有可能對搜索引擎優化如此有價值的原因是它的很多內容已經通過演算法重寫或從谷歌的頁面中挑選出來，以最好地解決它認為搜索者的需求是。
最近的一項研究表明，Google正在重寫或修改SERP中顯示的元描述 92％ 的時間。
問問自己：谷歌為什麼要這樣做？
當顯示分配給頁面的自定義元描述更容易時，它必須佔用大量資源。
在我看來，答案是谷歌只關心搜索者 – 而不是負責為頁面編寫新元描述的窮人。
谷歌關心今天創造最佳搜索體驗，所以人們明天再回來搜索。
其中一種方法是選擇要在SERP功能中顯示的頁面部分，或選擇與其認為最匹配上下文的SERP顯示的元數據或 查詢意圖 一個人在使用搜索引擎時擁有。
考慮到這一點，大規模分析SERP語言的能力有可能成為SEO的一個非常有價值的策略，而不僅僅是提高排名表現。
這種方法可以幫助您更好地了解潛在客戶的需求和願望，它可以幫助您理解可能與他們產生共鳴的辭彙以及他們想要參與的相關主題。
在本文中，您將學習一些可用於大規模實現此操作的技術。
請注意，這些技術依賴於 蟒蛇 – 但我希望表明這沒什麼好害怕的。事實上，這是嘗試和學習它的絕佳機會。
不要害怕Python
我不是開發人員，除了一些基本的HTML和CSS之外沒有編碼背景。我最近選擇了Python，為此，我有 羅賓勛爵 從蒸餾到謝謝。
我不能建議您查看他在Python上的幻燈片以及他使用Jupyter筆記本非常有用且易於訪問的指南 – 所有這些都包含在這個方便的Dropbox中。
對我來說，Python似乎總是難以理解 – 我不知道我試圖使用的腳本在哪裡，什麼工作，什麼不是，我應該期待什麼輸出。
如果你處於那種情況，請閱讀Lord's Guide。它將幫助您意識到它不需要那樣，並且在Jupyter Notebook中使用Python實際上比您想像的更直接。
它還將使本文中引用的每種技術都很容易實現，並為您提供一個平台來進行自己的研究，並建立自己的一些強大的Python自動化。
獲取您的SERP數據
作為一名員工，我很幸運能夠訪問Conductor，我們可以運行SERP報告，該報告使用外部API為一組關鍵字提取SERP顯示的元數據。
這是一種直接的方式，以我們可以使用的漂亮的乾淨格式獲取我們需要的數據。
它看起來像這樣：
另一種大規模獲取此信息的方法是使用Screaming Frog或DeepCrawl等工具在SERP上使用自定義提取。
我有 寫關於如何做到這一點但是要注意：這可能只是違反谷歌服務條款的一點點微不足道的事情，所以這是你自己的危險（但請記住，代理是解決這一危險的完美解毒劑）。
或者，如果你是一個諷刺的粉絲，並認為谷歌表示你不能抓住它的內容來為你的用戶提供更好的服務，那麼請一定要高興地部署這項技術。
如果你對這種方法不滿意，也有很多 蜜蜂 這是非常划算，易於使用，並提供運行此類分析所需的SERP數據。
以乾淨的格式獲取SERP數據的最終方法稍微耗費時間，並且您將需要使用 Scraper Chrome擴展程序 並為每個關鍵字手動執行。
如果你真的想擴大這個範圍，並希望使用一個相當大的語料庫（這個術語我會用很多東西 – 這只是一種很好的說法來表達很多單詞）來完成你的分析選項可能不會起作用。
但是，如果您對這個概念感興趣並希望運行一些較小的測試以確保輸出有價值並且適用於您自己的廣告系列，我會說它非常好。
希望在這個階段，您已經準備好並願意使用Jupyter Notebook進行Python的嘗試，並且您可以使用一些格式良好的SERP數據。
讓我們來看看有趣的東西吧。
SERP數據和語言分析
正如我上面提到的，我不是開發人員，編碼專家或計算機科學家。
我是一個對文字，語言和語言分析感興趣的人（那裡的憤世嫉俗者可能會稱我是一名失敗的記者，試圖在SEO和數字營銷中謀生）。
這就是為什麼我對真正的數據科學家如何使用Python，NLP和NLU進行此類研究感到著迷。
簡而言之，我在這裡所做的就是利用久經考驗的方法進行語言分析，並找到一種以與SEO相關的方式應用它們的方法。
對於本文的大部分內容，我將討論SERP，但正如我將在最後解釋的那樣，這只是觸及可能的表面（這就是令人興奮的原因！）。
清理分析文本
在這一點上，我應該指出，這種分析的一個非常重要的先決條件是「乾淨的文本」。這種「預處理」對於確保獲得高質量的結果至關重要。
雖然那裡有很多很棒的資源 準備文本進行分析，為了簡潔起見，您可以假設我的文本已通過以下大部分或全部過程：
- 小寫：我在下面提到的方法是區分大小寫的，所以製作我們使用小寫的所有副本都可以避免重複（如果你不這樣做，'瑜伽'和'瑜伽'將被視為兩個不同的單詞）
- 刪除標點符號：標點符號不會為此類分析添加任何額外信息，因此我們需要將其從語料庫中刪除
- 刪除停用詞：「停止詞」是語料庫中通常出現的詞，不會為我們的分析增加任何價值。在下面的示例中，我將使用優秀的預定義庫 NLTK 要麼 spaCy 用於刪除停用詞的包。
- 拼寫糾正：如果您擔心拼寫數據的拼寫錯誤，可以使用像Python這樣的Python庫 TextBlob 提供拼寫糾正
- 標記化：此過程將我們的語料庫轉換為一系列單詞。例如，這個：
（（'這是一個句子'））
會變成：
（（'this'，'是'，'a'，'句子'））
- 詞幹：這是指從單詞中刪除諸如'-ing'，'-ly'等後綴，並且完全是可選的
- 詞形還原：類似於「詞幹」，而不僅僅是刪除單詞的後綴，詞形還原會將單詞轉換為詞根（例如「播放」變為「播放」）。詞形還原通常優於詞幹化。
這可能聽起來有點複雜，但不要讓它阻止你進行這種類型的研究。
我將鏈接到本文中的資源，這些資源完全分解了如何將這些過程應用到語料庫中。
NGram分析與共生
我們可以應用於SERP內容的第一個也是最簡單的方法是對nGram共現的分析。這意味著我們計算單詞或單片語合在我們的語料庫中出現的次數。
為什麼這有用？
分析我們用於共同發生的單詞序列的SERP可以提供Google認為與我們正在分析的關鍵字集最相關的單詞或短語的快照。
例如，要創建我將通過這篇文章使用的語料庫，我已經在瑜伽中提取了100個關鍵詞的前100個結果
這僅用於說明目的;如果我正在進行更多質量控制的練習，這個語料庫的結構可能會略有不同。
我現在要使用的是Python計數器函數，它將在我的語料庫中尋找最常出現的兩個和三個單詞短語的組合。
輸出如下所示：
您已經可以開始看到一些有趣的趨勢出現在搜索者可能感興趣的主題周圍。我還可以收集一些這些短語的MSV，我可以將其定位為其他廣告系列關鍵字。
在這一點上，您可能會認為所有這些共同出現的短語都包含瑜伽這個詞，因為這是我的數據集的主要焦點。
這將是一個精明的觀察 – 它被稱為'語料庫特定的禁用詞'，並且因為我正在使用Python，所以創建過濾器或可以刪除這些單詞的函數很簡單。
然後我的輸出成為：
這兩個示例可以幫助提供競爭對手在其著陸頁上涵蓋的主題的快照。
例如，如果您希望針對效果最佳的競爭對手展示目標網頁中的內容差距，則可以使用此類表來說明這些重複出現的主題。
合併它們將使您的目標網頁更加全面，並將創造更好的用戶體驗。
我在創建計數器時找到的最好的教程就像我上面使用的那樣，可以在示例中找到 羅賓勛爵放在一起的Jupyter筆記本 （與上述相關的那個）。通過示例，它將帶您完成您需要做的事情，以創建一個類似於上面所示的表格。
這是非常基本的，並不總是能給你可行的結果。
那麼我們可以運行哪些其他類型的有用分析？
詞性（PoS）標記和分析
PoS標記是 定義 如：
「在語料庫語言學中，詞性標註（POS標記或POST），也稱為語法標記，是將文本（語料庫）中的單詞標記為對應於特定詞性的過程，基於其兩者定義，以及它的背景 – 即與短語，句子或段落中的相鄰和相關詞語的關係。「
這意味著我們可以在SERP語料庫中為每個單詞分配一個PoS標籤，不僅基於單詞的定義，還基於它在SERP顯示的元描述或頁面標題中出現的上下文。
這很有用，因為它意味著我們可以深入研究特定的PoS類別（動詞，名詞，形容詞等），這可以提供有關如何構建SERP語言的寶貴見解。
附註 – 在此示例中，我使用NLTK包進行PoS標記。遺憾的是，NLTK中的PoS標記在許多語言中都不可用。
如果您有興趣為英語以外的語言使用此技術，我建議您查看 TreeTagger，提供多種不同語言的此功能。
使用我們的SERP內容（記住它已經使用前面提到的一些方法進行'預處理'）進行PoS標記，我們可以在Jupyter筆記本中看到這樣的輸出：
您可以看到每個單詞現在都分配了一個PoS標記。點擊這裡查看 每個PoS標籤的辭彙表 你會看到代表。
孤立地說，這不是特別有用，所以讓我們創建一些可視化（不要擔心，如果我似乎在這裡跳過，我將鏈接到本節末尾的指南，該指南準確地說明了如何做這個）並深入研究結果：
大！
我可以快速輕鬆地識別我的SERP中的語言趨勢，並且我可以開始將這一點納入我為這些術語優化著陸頁時所採用的方法。
這意味著我不僅要通過在頁面上包含一定次數來優化查詢術語（超出舊學校關鍵詞密度思維模式）。
相反，我將根據它通過SERP中使用的語言提供的線索來定位谷歌似乎偏愛的背景和意圖。
在這種情況下，這些線索是結果頁面中最常出現的名詞，動詞和形容詞。
我們知道，基於谷歌的專利 基於短語的索引，它有可能使用「相關短語」作為排名頁面的因素。
這些可能包括在表現最佳的著陸頁上共同出現的語義相關短語，並有助於將這些頁面的含義結晶到搜索引擎。
這種類型的研究可能會讓我們對這些相關短語的含義有所了解，因此將它們分解為登陸頁面有可能具有價值。
現在，為了使所有這些SERP內容真正可行，您的分析需要更具針對性。
好吧，為此分析開發自己的腳本的好處是，應用過濾器和細分數據非常容易。
例如，通過幾次擊鍵，我可以生成一個輸出，用於比較趨勢與第2頁：
第1頁：
第2頁：
如果我在第1頁上看到的結果與第2頁之間存在任何明顯的差異（例如「開始」是第1頁上最常見的動詞與第2頁上的「訓練」），那麼我將進一步深入研究。
這些可能是我在頁面優化期間更加重視的單詞類型，以便為搜索引擎提供有關我的目標網頁上下文以及它如何與查詢意圖匹配的更清晰信號。
我現在可以開始構建一張圖片，了解Google選擇在SERP中顯示哪種語言，以便在我的目標垂直行列中獲得最高排名結果。
我也可以使用它作為辭彙類型的提示，這些辭彙會與尋找我的產品或服務的搜索者產生共鳴，並相應地將這些術語中的一些合併到我的目標網頁中。
我還可以根據購買過程中的結構，意圖或階段對關鍵字進行分類，並運行相同的分析來比較趨勢，使我的行為更加具體到我想要實現的結果。
例如，使用「初學者」一詞修改的瑜伽關鍵詞與使用「高級」一詞修飾的瑜伽關鍵詞之間的趨勢。
這將為我提供更多關於Google認為對於尋找這些類型的術語的搜索者重要的內容的線索，以及我如何能夠更好地優化這些術語。
如果您想對SERP數據進行此類分析，請遵循Kaggle基於此的簡單演練 將PoS標記應用於電影標題。它將引導您完成我完成的過程，以創建上面屏幕截圖中使用的視覺效果。
基於SERP數據的主題建模
主題建模是另一種非常有用的技術，可用於我們的SERP分析。它所指的是提取隱藏在文本語料庫中的主題的過程;在我們的例子中，SERP，用於我們的目標關鍵字集。
雖然主題建模有許多不同的技術，但數據科學家認為最受歡迎的技術是LDA（Latent Dirichlet Allocation），因此我選擇使用它。
關於主題建模的LDA如何工作的一個很好的解釋來自於 Analytics Vidhya博客：
「LDA假定文件是由多個主題組合而成。然後，這些主題基於其概率分布生成單詞。給定一個文檔數據集，LDA回溯並試圖找出哪些主題將首先創建這些文檔。「
雖然我們的關鍵詞都是關於'瑜伽'的，但我們使用的LDA機制假設在該語料庫中會有一組其他主題。
我們還可以使用Jupyter Notebook界面創建這些主題的互動式視覺效果以及它們構建的「關鍵字」。
我們的SERP語料庫中的主題建模對SEO，內容營銷人員或數字營銷人員來說非常有價值的原因在於，主題是基於Google認為與我們的目標垂直中的搜索者最相關的內容構建的（請記住，Google在演算法上重寫） SERP）。
通過我們的SERP內容語料庫，讓我們來看看我們的瑜伽關鍵字的輸出（使用 PyLDAvis包）：
你可以找到一個完整的定義 如何計算此可視化。
總而言之，在我自己痛苦的不科學的方式中，圓圈代表了語料庫中發現的不同主題（基於 聰明的機器學習伏都教）。圓圈越遠，這些主題彼此越清晰。
可視化右側的術語列表是創建這些主題的單詞。這些詞是我用來理解主題的，以及具有實際價值的可視化部分。
在下面的視頻中，我將向您展示如何與此視覺互動：
一目了然，我們將能夠看到Google認為搜索者最感興趣的子主題。這可以成為內容構思的另一個重要數據點，主題構建的術語列表可用於主題頁面優化。
此處的數據還可以用於優化站點和內部鏈接的內容推薦。
例如，如果我們圍繞「主題群集4」創建內容，並且我們有一篇關於最佳初學者瑜伽姿勢的文章，我們知道閱讀該文章的人可能也會對改善瑜伽姿勢的指南感興趣。
這是因為「主題群集4」由以下單片語成：
- 提出
- 初學者
- 基本
- 嘉尚
- 簡單
- 指南
- 姿勢
- 開始
- 學習
- 實踐
- 行使
我還可以以Excel格式導出我的主題的關聯術語列表，因此很容易與其他可能發現有用的洞察力的團隊共享（例如，您的內容團隊）：
最終，主題是我們正在分析的語料庫的特徵。儘管圍繞主題建模的實際應用存在一些爭議，但是如果能夠更好地理解我們所針對的SERP的特徵，將有助於我們更好地優化它們。這很有價值。
最後一點，LDA沒有標明它創建的主題 – 這取決於我們 – 所以這項研究對我們的搜索引擎優化或內容活動的適用程度取決於我們的主題是多麼獨特和清晰。
上面的屏幕截圖是一個好主題集群地圖的樣子，但你想要避免的是看起來像下一個截圖。重疊的圓圈告訴我們主題不夠明顯：
您可以通過確保語料庫的質量良好（即刪除停用詞，詞形還原等），並通過研究如何訓練您的LDA模型來根據您的語料庫識別「最乾淨」的主題群集來避免這種情況。
有興趣將主題建模應用到您的研究中嗎？這裡有一個 偉大的教程帶您了解整個過程。
你還可以用這個分析做什麼？
雖然已經有一些工具使用這些技術來改進 頁面上的SEO表現，支持內容團隊並提供用戶見解，我是開發自己的腳本/工具的倡導者。
為什麼？因為您可以更好地控制輸入和輸出（即，您不僅可以將關鍵字彈出到搜索欄中並將結果顯示為面值）。
使用這樣的腳本，您可以更靈活地使用您使用的語料庫以及通過將過濾器應用於PoS分析或改進主題建模方法而產生的結果。
更重要的原因是它允許您創建具有多個有用應用程序的東西。
例如，我可以根據我正在研究的主題或垂直方式的子Reddit注釋創建一個新的語料庫。
在這樣的數據集上進行PoS分析或主題建模對於理解潛在客戶的語言或可能與他們產生共鳴的內容具有真正的洞察力。
這種分析最明顯的替代用例是從排名靠前的頁面上的內容創建語料庫，而不是SERP本身。
同樣，Screaming Frog和DeepCrawl之類的東西使從登陸頁面提取副本變得相對簡單。
此內容可以合併並用作您的語料庫，以收集有關共同使用條款的見解以及效果最佳的著陸頁的頁內內容結構。
如果您開始為自己開發一些這些技術，我建議您研究如何應用一層 情緒分析。這將允許您查找具有正面情緒的單詞與具有負面情緒的單詞的趨勢 – 這可能是一個有用的過濾器。
我希望本文能為您分析SERP的語言提供一些啟發。
您可以獲得一些很好的見解：
- 哪些類型的內容可能會與目標受眾產生共鳴。
- 如何更好地構建頁面優化，以解決不僅僅是查詢術語，還包括上下文和意圖。
圖片來源
特色圖片：Unsplash
所有截圖均由作者拍攝，2019年6月