[ad_1]
如果您想知道如何優化WordPress robots.txt文件以獲得更好的SEO，那麼您來對地方了。
什麼是WordPress robots.txt文件，我需要為此擔心嗎？
robots.txt文件是您網站上的文件，可讓您拒絕搜索引擎訪問某些文件和文件夾。您可以使用它來阻止Google（和其他搜索引擎）的漫遊器抓取您網站上的某些頁面。這是文件的示例：
那麼，拒絕訪問搜索引擎如何真正改善您的SEO？似乎違反直覺…
它的工作方式如下：您網站上的頁面越多，Google必須抓取的頁面也越多。
例如，如果您的博客上有很多類別和標籤頁面，則這些頁面的質量很低，不需要被搜索引擎抓取；它們只會消耗您網站的抓取預算（Google在任何給定時間將在您的網站上抓取的分配頁面數）。
抓取預算很重要，因為它決定了Google迅速了解您網站的更改，從而確定了您的排名速度。它對電子商務SEO尤其有用！
請注意要正確執行此操作，因為如果做得不好，它可能會損害您的SEO。有關如何正確對正確的頁面進行索引編製的詳細信息，請參閱DeepCrawl的本指南。
因此，您是否需要弄亂WordPress robots.txt文件？
如果您在大型網站中處於競爭激烈的利基市場，那麼可能。但是，如果您只是開始第一個博客，那麼構建指向您內容的鏈接並創建大量高質量文章是更重要的任務。
如何優化WordPress robots.txt文件以獲得更好的SEO
現在，讓我們討論如何實際到達（或創建）和優化WordPress robots.txt文件。
Robots.txt通常位於您網站的根文件夾中。您將需要使用FTP客戶端或使用cPanel的文件管理器連接到您的站點以進行查看。它只是一個普通的文本文件，您可以使用記事本打開它。
如果您網站的根目錄中沒有robots.txt文件，則可以創建一個。您需要做的就是在計算機上創建一個新的文本文件，並將其另存為robots.txt。然後，只需將其上傳到您網站的根文件夾即可。
理想的robots.txt文件是什麼樣的？
robots.txt文件的格式非常簡單。第一行通常命名一個用戶代理。用戶代理是您要與之通信的搜索機器人的名稱。例如，Googlebot或Bingbot。您可以使用星號*指示所有機器人。
下一行後面是針對搜索引擎的「允許」或「禁止」說明，因此他們知道您要為其編入索引的部分以及您不希望對其進行索引的部分。
這是一個例子：
用戶代理： *
允許：/？display = wide
允許：/ wp-content / uploads /
禁止：/readme.html
禁止：/ refer /
站點地圖：http://www.codeinwp.com/post-sitemap.xml
站點地圖：http://www.codeinwp.com/page-sitemap.xml
站點地圖：http://www.codeinwp.com/deals-sitemap.xml
站點地圖：http://www.codeinwp.com/hosting-sitemap.xml
請注意，如果您使用的是Yoast或All in One SEO之類的插件，則可能無需添加站點地圖部分，因為它們會嘗試自動添加。如果失敗，則可以像上面的示例一樣手動添加它。
我應該禁止或禁止索引什麼？
在Google網站站長指南中，他們建議網站站長不要使用自己的robots.txt文件來隱藏低質量的內容。因此，使用robots.txt文件阻止Google為您的類別，日期和其他存檔頁面編製索引可能不是一個明智的選擇。
請記住，robots.txt的目的是指示漫遊器如何處理它們在您的網站上爬網的內容。這並不能阻止他們爬行您的網站。
另外，您無需將WordPress登錄頁面，管理目錄或註冊頁面添加到robots.txt，因為登錄頁面和註冊頁面具有WordPress自動添加的noindex標記。
但是，我建議您不要在robots.txt文件中使用readme.html文件。試圖弄清楚您使用的WordPress版本的人可以使用此自述文件。如果是這樣的人，他們只需瀏覽即可輕鬆訪問文件。另外，放置禁止標籤可以阻止惡意攻擊。
如何將WordPress robots.txt文件提交給Google？
更新或創建robots.txt文件後，您可以使用Google Search Console將其提交給Google。
但是，我建議您首先使用Google的robots.txt測試工具對其進行測試。
如果您在此處看不到創建的版本，則必須將創建的robots.txt文件重新上傳到WordPress網站。您可以使用Yoast SEO做到這一點。
結論
您現在知道了如何優化WordPress robots.txt文件以獲得更好的SEO。
通過robots.txt對網站進行任何重大更改時，請務必小心。這些更改雖然可以改善您的搜索量，但如果您不小心的話，也可能弊大於利。
如果您渴望獲得更多的學習知識，請查看我們的WordPress最終指南匯總！