Joost de Valk是Yoast的創始人兼首席產品官。 他是一位互聯網企業家，他在創立Yoast之後投資並為多家初創公司提供了建議。 他的主要專長是開源軟體開發和數字營銷。
我們曾經說過它，但是我們會重複一遍：讓我們感到驚訝的是，仍然有人僅使用robots.txt文件來阻止他們的網站在Google或Bing中建立索引。 結果，他們的網站仍然出現在搜索引擎中。 你知道為什麼它讓我們驚訝嗎？ 因為robots.txt實際上不會執行後者，即使它確實阻止了對網站建立索引。 讓我在這篇文章中解釋這是如何工作的。
有關robots.txt的更多信息，請閱讀 robots.txt：最終指南。 或者，找到 在WordPress中處理robots.txt的最佳做法。
被索引和在Google中列出有區別
在我們進一步解釋之前，我們需要先在這裡仔細閱讀一些術語：
- 索引/索引
將站點或頁面的內容下載到搜索引擎的伺服器，從而將其添加到其「索引」的過程。 - 排名/列表/顯示
在搜索結果頁面（又稱SERP）中顯示網站。
因此，儘管最常見的過程是從編製索引到列出清單，但不必為一個網站編製索引就可以列出清單。 如果鏈接指向頁面，域或任何地方，則Google會跟蹤該鏈接。 如果該域上的robots.txt阻止了搜索引擎對該頁面的索引編製，但如果它可以從可能值得研究的其他變數中收集，它仍將在結果中顯示URL。
在過去，可能是DMOZ或Yahoo目錄，但是我可以想像Google使用了例如您最近的「我的商家」詳細信息或這些項目中的舊數據。 更多網站匯總了您的網站，對。
現在，如果上面的解釋沒有意義，請看一下2009年前Googler Matt Cutts的視頻解釋：
如果您有理由阻止網站建立索引，那麼將請求添加到要阻止的特定頁面上（如Matt所說的那樣），仍然是正確的方法。
但是您需要將有關該元機器人標記的信息告知Google。 因此，如果您想有效地對搜索引擎隱藏頁面，則需要它們為這些頁面建立索引。 即使那可能看起來是矛盾的。 有兩種方法可以做到這一點。
通過添加一個元機器人標籤來阻止您的頁面列表
阻止您的頁面列表的第一個選項是使用漫遊器元標記。 我們有關於的終極指南 機器人元標記 範圍更廣，但是基本上可以歸結為將這個標籤添加到您的頁面中：
如果您使用Yoast SEO，這非常簡單！ 無需自己添加代碼。 學 如何在此處使用Yoast SEO添加noindex標籤。
像這樣的標籤的問題是，您必須將其添加到每個頁面。
Yoast SEO中簡化的機器人元標記管理
為了使將meta robots標記添加到網站的每個頁面的過程變得更加容易，搜索引擎提出了 X-Robots-Tag HTTP標頭。 這樣，您就可以指定一個稱為X-Robots-Tag的HTTP標頭，並像元機器人標籤的值一樣設置該值。 關於這個的很酷的事情是，您可以在整個網站上做到這一點。 如果您的站點在Apache上運行，並且啟用了mod_headers（通常是啟用），則可以將以下單行添加到.htaccess文件中：
標頭集X-Robots-Tag「 noindex，nofollow」
這樣做的結果是可以對整個站點建立索引。 但是永遠不會顯示在搜索結果中。
因此，使用Disallow：/刪除該robots.txt文件。 請改用X-Robots-Tag或該元機器人標記！
閱讀更多： 元機器人標籤的最終指南»