谷歌取消对Robots.txt Noindex的支持


谷歌取消对Robots.txt Noindex的支持

谷歌正式宣布,GoogleBot将不再遵守与索引相关的Robots.txt指令。依赖robots.txt noindex指令的发布商必须在2019年9月1日之前将其删除并开始使用替代方案。

Robots.txt Noindex非官方

不支持noindex robots.txt指令的原因是因为它不是官方指令。

谷歌过去曾支持过这个robots.txt指令但不再是这种情况了。请适当注意并相应地管理自己。

Google主要用于服从Noindex指令

StoneTemple发表了一篇文章 注意到谷歌大多遵守robots.txt noindex指令。

他们当时的结论是:

“最终,Robots.txt中的NoIndex指令非常有效。它在我们测试的12个案例中有11个起作用。它可能适用于您的网站,并且由于它的实现方式,它为您提供了一个防止抓取页面并将其从索引中删除的路径。

这在概念上非常有用。但是,我们的测试没有显示出100%的成功,所以它并不总是有效。“

情况已经不是这样了。不再支持noindex robots.txt指令。

这是Google的官方推文:

“今天我们要告诉robots.txt中未记录和不受支持的规则

如果您依赖这些规则,请在我们的博客文章中了解您的选项。“

这是公告的相关部分:

“为了维护健康的生态系统并为未来的潜在开源版本做准备,我们将在2019年9月1日停用处理不支持和未发布的规则(例如noindex)的所有代码。”

如何控制爬行?

谷歌的官方博客文章列出了控制索引的五种方法:

  1. 机器人元标记中的Noindex
  2. 404和410 HTTP状态代码
  3. 密码保护
  4. 在robots.txt中禁用
  5. 搜索控制台删除URL工具

在此处阅读Google官方声明:
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

阅读官方Google推文
https://twitter.com/googlewmc/status/1145950977067016192

原创文章,作者:WPJIAN,如若转载,请注明出处:https://wpjian.com/wordpress-seo/201907024453.html