使用技巧

防止您的网站被正确索引

乔斯特·德·沃克

Joost de Valk是Yoast的创始人兼首席产品官。 他是一位互联网企业家,他在创立Yoast之后投资并为多家初创公司提供了建议。 他的主要专长是开源软件开发和数字营销。

防止您的网站被正确索引防止您的网站被正确索引

我们曾经说过它,但是我们会重复一遍:让我们感到惊讶的是,仍然有人仅使用robots.txt文件来阻止他们的网站在Google或Bing中建立索引。 结果,他们的网站仍然出现在搜索引擎中。 你知道为什么它让我们惊讶吗? 因为robots.txt实际上不会执行后者,即使它确实阻止了对网站建立索引。 让我在这篇文章中解释这是如何工作的。

有关robots.txt的更多信息,请阅读 robots.txt:最终指南。 或者,找到 在WordPress中处理robots.txt的最佳做法

被索引和在Google中列出有区别

在我们进一步解释之前,我们需要先在这里仔细阅读一些术语:

  • 索引/索引
    将站点或页面的内容下载到搜索引擎的服务器,从而将其添加到其“索引”的过程。
  • 排名/列表/显示
    在搜索结果页面(又称SERP)中显示网站。

因此,尽管最常见的过程是从编制索引到列出清单,但不必为一个网站编制索引就可以列出清单。 如果链接指向页面,域或任何地方,则Google会跟踪该链接。 如果该域上的robots.txt阻止了搜索引擎对该页面的索引编制,但如果它可以从可能值得研究的其他变量中收集,它仍将在结果中显示URL。

在过去,可能是DMOZ或Yahoo目录,但是我可以想象Google使用了例如您最近的“我的商家”详细信息或这些项目中的旧数据。 更多网站汇总了您的网站,对。

现在,如果上面的解释没有意义,请看一下2009年前Googler Matt Cutts的视频解释:

如果您有理由阻止网站建立索引,那么将请求添加到要阻止的特定页面上(如Matt所说的那样),仍然是正确的方法。

但是您需要将有关该元机器人标记的信息告知Google。 因此,如果您想有效地对搜索引擎隐藏页面,则需要它们为这些页面建立索引。 即使那可能看起来是矛盾的。 有两种方法可以做到这一点。

通过添加一个元机器人标签来阻止您的页面列表

阻止您的页面列表的第一个选项是使用漫游器元标记。 我们有关于的终极指南 机器人元标记 范围更广,但是基本上可以归结为将这个标签添加到您的页面中:

如果您使用Yoast SEO,这非常简单! 无需自己添加代码。 学 如何在此处使用Yoast SEO添加noindex标签

像这样的标签的问题是,您必须将其添加到每个页面。

防止您的网站被正确索引防止您的网站被正确索引Yoast SEO中简化的机器人元标记管理

为了使将meta robots标记添加到网站的每个页面的过程变得更加容易,搜索引擎提出了 X-Robots-Tag HTTP标头。 这样,您就可以指定一个称为X-Robots-Tag的HTTP标头,并像元机器人标签的值一样设置该值。 关于这个的很酷的事情是,您可以在整个网站上做到这一点。 如果您的站点在Apache上运行,并且启用了mod_headers(通常是启用),则可以将以下单行添加到.htaccess文件中:

标头集X-Robots-Tag“ noindex,nofollow”

这样做的结果是可以对整个站点建立索引。 但是永远不会显示在搜索结果中。

因此,使用Disallow:/删除该robots.txt文件。 请改用X-Robots-Tag或该元机器人标记!

阅读更多: 元机器人标签的最终指南»

来源