[ad_1]
Google的John Mueller最近就如何阻止robots.txt和Sitemap文件在搜索結果中建立索引提供了一些建議。
谷歌的加里·伊利耶斯（Gary Illyes）的一條推文提出了這一建議，他隨機指出，從技術上講，robots.txt可以像其他任何URL一樣被索引。它為爬網提供了特殊的指導，但沒有什麼可以阻止它被索引的。
這是完整的 鳴叫 來自Illyes：
「被一個內部問題觸發：從索引的角度來看，robots.txt只是可以對其內容進行索引的url。就像任何其他URL一樣，它可以變為規範或可以重複數據刪除。
它僅對爬網具有特殊含義，但在那裡的索引狀態根本不重要。」
為了回應他的Google同事Mueller 說過 x-robots-tag HTTP標頭可用於阻止robots.txt或站點地圖文件的索引編製。不過，這並不是他要說的全部，因為這可以說是關鍵所在：
「此外，如果您的robots.txt或站點地圖文件對常規查詢（而非站點：）進行排名，則通常表明您的站點確實狀況不佳，應加以改進。」
因此，如果您遇到了robots.txt文件在搜索結果中排名的問題，那麼使用x-robots-tag HTTP標頭將其阻止是一個不錯的短期解決方案。但是，如果發生這種情況，那麼從長遠來看，很可能需要解決更大的問題，正如Mueller建議的那樣。