Joost de Valk是Yoast的创始人兼首席产品官。 他是一位互联网企业家，他在创立Yoast之后投资并为多家初创公司提供了建议。 他的主要专长是开源软件开发和数字营销。
我们曾经说过它，但是我们会重复一遍：让我们感到惊讶的是，仍然有人仅使用robots.txt文件来阻止他们的网站在Google或Bing中建立索引。 结果，他们的网站仍然出现在搜索引擎中。 你知道为什么它让我们惊讶吗？ 因为robots.txt实际上不会执行后者，即使它确实阻止了对网站建立索引。 让我在这篇文章中解释这是如何工作的。
有关robots.txt的更多信息，请阅读 robots.txt：最终指南。 或者，找到 在WordPress中处理robots.txt的最佳做法。
被索引和在Google中列出有区别
在我们进一步解释之前，我们需要先在这里仔细阅读一些术语：
- 索引/索引
将站点或页面的内容下载到搜索引擎的服务器，从而将其添加到其“索引”的过程。 - 排名/列表/显示
在搜索结果页面（又称SERP）中显示网站。
因此，尽管最常见的过程是从编制索引到列出清单，但不必为一个网站编制索引就可以列出清单。 如果链接指向页面，域或任何地方，则Google会跟踪该链接。 如果该域上的robots.txt阻止了搜索引擎对该页面的索引编制，但如果它可以从可能值得研究的其他变量中收集，它仍将在结果中显示URL。
在过去，可能是DMOZ或Yahoo目录，但是我可以想象Google使用了例如您最近的“我的商家”详细信息或这些项目中的旧数据。 更多网站汇总了您的网站，对。
现在，如果上面的解释没有意义，请看一下2009年前Googler Matt Cutts的视频解释：
如果您有理由阻止网站建立索引，那么将请求添加到要阻止的特定页面上（如Matt所说的那样），仍然是正确的方法。
但是您需要将有关该元机器人标记的信息告知Google。 因此，如果您想有效地对搜索引擎隐藏页面，则需要它们为这些页面建立索引。 即使那可能看起来是矛盾的。 有两种方法可以做到这一点。
通过添加一个元机器人标签来阻止您的页面列表
阻止您的页面列表的第一个选项是使用漫游器元标记。 我们有关于的终极指南 机器人元标记 范围更广，但是基本上可以归结为将这个标签添加到您的页面中：
如果您使用Yoast SEO，这非常简单！ 无需自己添加代码。 学 如何在此处使用Yoast SEO添加noindex标签。
像这样的标签的问题是，您必须将其添加到每个页面。
Yoast SEO中简化的机器人元标记管理
为了使将meta robots标记添加到网站的每个页面的过程变得更加容易，搜索引擎提出了 X-Robots-Tag HTTP标头。 这样，您就可以指定一个称为X-Robots-Tag的HTTP标头，并像元机器人标签的值一样设置该值。 关于这个的很酷的事情是，您可以在整个网站上做到这一点。 如果您的站点在Apache上运行，并且启用了mod_headers（通常是启用），则可以将以下单行添加到.htaccess文件中：
标头集X-Robots-Tag“ noindex，nofollow”
这样做的结果是可以对整个站点建立索引。 但是永远不会显示在搜索结果中。
因此，使用Disallow：/删除该robots.txt文件。 请改用X-Robots-Tag或该元机器人标记！
阅读更多： 元机器人标签的最终指南»