Google的John Mueller阻止将Robots.txt文件编入索引

Google的John Mueller阻止将Robots.txt文件编入索引

Google的John Mueller最近就如何阻止robots.txt和Sitemap文件在搜索结果中建立索引提供了一些建议。

谷歌的加里·伊利耶斯(Gary Illyes)的一条推文提出了这一建议,他随机指出,从技术上讲,robots.txt可以像其他任何URL一样被索引。它为爬网提供了特殊的指导,但没有什么可以阻止它被索引的。

这是完整的 鸣叫 来自Illyes:

“被一个内部问题触发:从索引的角度来看,robots.txt只是可以对其内容进行索引的url。就像任何其他URL一样,它可以变为规范或可以重复数据删除。
它仅对爬网具有特殊含义,但在那里的索引状态根本不重要。”

为了回应他的Google同事Mueller 说过 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引编制。不过,这并不是他要说的全部,因为这可以说是关键所在:

“此外,如果您的robots.txt或站点地图文件对常规查询(而非站点:)进行排名,则通常表明您的站点确实状况不佳,应加以改进。”

因此,如果您遇到了robots.txt文件在搜索结果中排名的问题,那么使用x-robots-tag HTTP标头将其阻止是一个不错的短期解决方案。但是,如果发生这种情况,那么从长远来看,很可能需要解决更大的问题,正如Mueller建议的那样。

Total
0
Shares
相关文章