[ad_1]
Google只抓取大型企業網站上大約一半的網頁,這意味著這些網頁不會被添加到索引中。這也意味著他們無法對業務進行排名或生成有機流量和收入。
大型網站的搜索引擎優化根本無法從排名和關鍵字開始,否則您將錯失巨大的機會。
企業網站所有者需要更深入地關注整個搜索過程 – 從其技術基礎和搜索引擎如何抓取它,到真正的受眾如何與之互動。
9月11日,我主持了贊助 SEJ網路研討會 由Botify品牌內容和傳播總監Kameron Jenkins主講。
詹金斯分享了企業如何通過消除谷歌與其網站之間的障礙獲得大規模勝利。
以下是網路研討會演示文稿的概述。
大多數企業都專註於從他們的網站獲取排名和流量,因為他們首先忽視了流量的獲取方式 – 而且首先是Google如何抓取網站。
企業需要從整體上思考搜索引擎優化,從爬行到轉換,如果他們想要有效。
2018年,Botify進行了一次c全面研究 關於Google如何抓取網路。他們分析了從這些網站的日誌文件中提取的4.13億個抓取頁面和60億個Googlebot請求。
調查結果顯示,即使谷歌是「合規」網頁,谷歌仍然缺少51%的網頁。
為什麼會這樣?
一方面,網路龐大,每天都在變大 – 谷歌需要花費數萬億的其他頁面,這意味著他們可以限制他們在移動之前可以在您的網站上獲得多少時間/頁面。
現代網路也比以往任何時候都複雜,讓Google花費更多時間來抓取和渲染JavaScript等內容。
Botify在數據中發現的內容有助於驗證他們的假設,即Google對大型網站的處理方式與小型網站不同。
如果您在此處查看圖表,您會發現隨著網站變得越來越大(就其擁有的網址數量而言),抓取網頁和網頁獲得自然搜索流量的百分比越小。
現在,只是谷歌不喜歡大型網站嗎?
一點也不。只是由於網路的規模和複雜性,谷歌資源緊張。
雖然他們在較小的網站上瀏覽內容沒有任何問題,但這對於擁有數百萬個網址的大型網站來說非常重要。
Botify還發現,網站越大,您就越需要擔心 抓取預算優化因為每一件可能佔用Google時間的小事(例如導致頁面載入時間增加的事物)乘以數百萬頁的規模會對Google能夠通過多少頁面產生巨大影響。
因此,雖然較小的SMB網站可能不必擔心抓取預算優化並且可以直接進入關鍵字優化和排名,但較大的網站根本沒有那麼奢侈。
企業網站需要一種不同的方法
我們需要承認企業網站需要採用不同的SEO方法。
那看起來到底是什麼樣的?
而不是在排名階段開始和關注 – 就像許多SEO專業人士習慣的那樣 – 你必須縮小。
在大型網站上工作的SEO專業人員需要查看完整的漏斗。
企業網站根本無法從關鍵字和排名開始,否則他們將錯失巨大的機會。
爬行到轉換過程如何工作
通過搜索,起點是您的網站,然後是谷歌抓取它的方式,然後是如何將其添加到索引中,然後搜索者如何找到它並與之交互。
您可以使用搜索所具有的相同邏輯順序,並在您評估網站的SEO方面對其進行鏡像。
1.了解您網站上存在哪些頁面
首先要了解您網站上存在哪些頁面。
對於人們來說,這一步驟通常非常令人大開眼界,特別是那些在電子商務網站上工作的人,由於排序和過濾選項可以創建大量不同版本的具有相同內容的單個頁面,因此有多種不同的方式來訪問單個頁面。
在抓取之前,您可能無法準確了解網站結構中實際有多少頁面或頁面。
2.看看谷歌實際訪問的那些頁面
接下來,通過分析您的日誌文件來查看Google實際訪問的那些頁面。
抓取的目標是以谷歌的方式瀏覽您的網站,如果它可以花費無限的時間來探索您的網站,但由於Google沒有無限的時間,這一步非常重要,因為它可以讓您查看Google的哪些頁面是訪問與忽略。
3.了解您的索引頁面如何在SERP中執行
在前兩個步驟中,您可能會找到您不希望他們訪問的Google正在訪問的網頁,以及他們遺漏的重要網頁。
要確保Google將您的關鍵頁面添加到其索引中,您可以:
- 調整您的robots.txt文件,以指示Google遠離某些網頁。
- 更新您的站點地圖以包含您的關鍵頁面。
- 刪除那些具有404重定向的錯誤URL。
- 改善關鍵頁面的內部鏈接和頁面深度。
因為只有一個頁面被編入索引,人們才能通過搜索找到它。
在第三步中,您將想知道索引頁面在SERP中的執行情況:
- 他們獲得了多少次展示。
- 他們出現了什麼關鍵詞。
- 他們排名的位置是什麼。
4.評估搜索者如何與您的頁面進行交互
一旦頁面顯示在SERP中,搜索者就可以找到並點擊該頁面,因此最後一步是評估搜索者與您的頁面進行交互的方式:
- 他們獲得了多少次訪問(如果有的話)。
- 跳出率是多少。
- 轉換率是多少。
為什麼要實施企業搜索引擎優化的爬行轉換框架
這個框架的優點在於,當你改進一件事時,它會在下游產生連鎖反應。
例如,您讓Google抓取更多網頁,索引中包含更多網頁,索引中的更多網頁意味著獲得有機流量和收入的機會更多。
人們通常將排名和流量視為「以增長為中心」的東西,以及爬行優化等技術/ QA的東西,但技術修復導致增長。
它們都會相互影響,你只需記住完整的圖片,否則你可能會錯過這個機會。
小貼士和小貼士
摘要1:大型網站有爬網問題
首先,請記住,大型企業網站需要不同的框架,因為它們面臨的挑戰不同於較小的網站。
谷歌完全錯過了這些網站關鍵頁面的大約一半,在很多情況下還有更多。
外賣2:他們無法從關鍵詞開始
由於這一現實,在大型網站上工作的SEO專業人員無法開始使用關鍵字,頁面優化和排名。
如果他們這樣做,他們將錯過在抓取/渲染/索引階段從您的漏斗中進一步消除這些問題所帶來的巨大機會。
那麼你現在能做什麼呢?
提示1:用所有數據武裝自己
第一步是確保您擁有所有數據。除非您在搜索過程的每個階段都清楚地了解您的網站,否則您無法評估和改進完整的渠道。
- 抓取您的網站並清點那裡的所有內容。
- 訪問您的日誌文件,以便查看Google正在訪問哪些網頁以及他們丟失了哪些網頁。
- 了解索引頁面在SERP中的效果,您可以從Google Search Console獲取這些內容,例如您的展示次數,您要顯示的查詢,排名和點擊率。
- 獲取您的網站分析數據,以便您知道搜索者在您的網頁上登陸後正在做什麼。
- 他們花了多少時間?
- 跳出率是多少?
- 他們轉換了嗎?
技巧2:審核時查看完整圖片
如果沒有所有這些數據點,並且沒有統一它們,您將無法在搜索過程中全面了解您的網站。
例如,如果您只有關鍵字數據,那麼您可能只知道您排名的位置,而不是您在該位置排名的原因,這可以通過查看該網頁的抓取或日誌數據來發現。
擁有所有這些數據並統一它有助於向您展示為什麼背後的原因。
提示3:讓自己坐在桌旁
最後的提示是讓自己坐在桌旁。說起來容易做起來難,但你在組織中的結構和價值方式卻大不相同。
如果您的搜索引擎優化部門遠離您的開發團隊,或者甚至遠離您的營銷團隊,那麼決策將繼續做出不適合您的搜索性能的決策。
如果您無法實現將SEO整合到您的產品和營銷團隊所需的組織轉變,那麼首先要與這些團隊建立關係。
確保他們知道你是誰,並了解他們。發展友誼。
當你已經建立了關係時,分享你的觀點以及了解他們的觀點要容易得多。
幫助連接點以向他們展示某些更改(可能是為了改進一件事)實際上最終會損害搜索性能,並提供替代方案。
他們將學會依靠你,並希望在部署這些變化之前開始記得詢問你的意見。
Q&A
以下是Kameron Jenkins回答的一些與會者問題。
問:我們即將從頭開始創建一個擁有數千個目標網頁的企業站點。你有什麼建議讓這些索引更快?
Kameron Jenkins(KJ):Botify有一個名為「站點地圖生成器「這對此非常完美。在您抓取網站以獲取網頁列表後,您可以過濾以僅查看「兼容「頁面(索引中需要的頁面,如未標記為noindex的頁面,具有200狀態代碼等)。
如果您有一個非常大的網站並且需要構建超過50,000個URL的XML站點地圖,則URL將自動分解為多個站點地圖(根據 谷歌的站點地圖指南)。通過Botify,您可以將該頁面列表導出到可以提交到Google Search Console的sitemap.xml文件中。
要確保Google實際抓取您提交的網址,您可以查看Botify的「按天抓取的網址」報告。如果您的網址仍未被抓取,請確保您不會通過robots.txt意外阻止它們,並確保它們已鏈接到整個網站。
我們還建議您將最重要的頁面保持在主頁附近,如 頁面深度可以與較少頻繁的爬網相關聯。
問:您推薦哪些爬網平台?
KJ:我們有偏見,但我們認為Botify的爬蟲非常棒!它被稱為Botify Analytics,它可以在一次爬網中以每秒250個URL的速率爬行多達5000萬個URL。
問:如何判斷Google是否限制抓取/索引的網頁?什麼規模的網站被視為「企業」?
KJ:您需要將抓取數據與日誌文件數據進行比較。第一步是清點您的網站以記錄您的所有網址,然後通過對日誌文件數據進行分層,您可以看到Google正在點擊哪些網址與丟失的網址。
雖然沒有嚴格的數字使網站成為「企業」,但我們傾向於將其定義為擁有數十萬個網址或數百萬個網址的網站。
谷歌已經表示,「如果一個網站的網址少於幾千個,大部分時間都會被高效抓取」,因此擁有超過幾千個網址的網站(如企業網站)可能會開始遇到抓取問題。
問:什麼是技術搜索引擎優化的KPI?
KJ:我們有一篇很棒的文章回答了這個問題!它被稱為 五大技術SEO KPI。爬行到轉換框架時要記住的一件重要事情是,即使是技術更改,雖然它們最直接地導致技術改進,但通常還具有級聯效果,可以改善排名和流量等「傳統」SEO關鍵績效指標。
問:SEO學習JavaScript,HTML或CSS以幫助與其他團隊溝通是否有任何好處?
KJ:雖然SEO專業人員不一定需要學習如何編程,但能夠說出開發人員的語言總是有益的。
了解JavaScript等基礎知識的另一個好處是,您將能夠理解它何時發生並且不會影響SEO。看到 用於SEO的JavaScript 101 有關更多信息。
問:當您的公司銷售數十萬種產品時,您如何確定優先處理的工作?
KJ:肯定不是一件輕鬆的事!有兩種主要方法可以有效地確定優先順序:
- 了解對您的業務有何重要意義
- 了解當前在您的網站上工作/不工作的內容。
製作對您的業務非常重要的頁面列表(例如,您的戰略產品)並特別密切關注這些頁面的性能是一個好主意。
在Botify中,您可以通過以下方式完成此操作 段。跟蹤哪些有效,哪些無法在您的網站上運行也是一個好主意。
例如,如果您看到最深的產品頁面獲得最低流量,那麼這是一個很好的指標,您應該專註於改善這些頁面的深度。
問:您如何查看日誌文件?
KJ:以原始形式瀏覽日誌文件可能很困難,因此我們建議使用專門針對SEO的日誌文件分析器,如 Botify的。
問:谷歌最近沒有出來並建議不要使用robots.txt並建議使用meta noindex嗎?
KJ:Google將不再支持robots.txt文件中的noindex指令,而是要求您在頁面的HTML代碼中添加noindex元標記,或者在HTTP請求中返回noindex標頭。
這並不意味著robots.txt本身無效,只是noindex不能用作robots.txt文件中的指令。
(視頻回顧)企業SEO框架:從爬行到轉換
觀看網路研討會演示和問答環節的視頻回顧。
或者查看下面的SlideShare。
圖片來源
郵寄圖片:Botify
加入我們的下一次網路研討會!
10月9日星期三下午2點參加我們的下一次網路研討會。 ET並了解內容管理系統(CMS)中的關鍵功能如何幫助您最大限度地提高網站的下一代搜索引擎優化,移動技術和語音搜索的收入。