谷歌取消对Robots.txt Noindex的支持

[ad_1]
谷歌取消对Robots.txt Noindex的支持

谷歌正式宣布，GoogleBot将不再遵守与索引相关的Robots.txt指令。依赖robots.txt noindex指令的发布商必须在2019年9月1日之前将其删除并开始使用替代方案。

Robots.txt Noindex非官方

不支持noindex robots.txt指令的原因是因为它不是官方指令。

谷歌过去曾支持过这个robots.txt指令但不再是这种情况了。请适当注意并相应地管理自己。

Google主要用于服从Noindex指令

StoneTemple发表了一篇文章注意到谷歌大多遵守robots.txt noindex指令。

他们当时的结论是：

“最终，Robots.txt中的NoIndex指令非常有效。它在我们测试的12个案例中有11个起作用。它可能适用于您的网站，并且由于它的实现方式，它为您提供了一个防止抓取页面并将其从索引中删除的路径。

这在概念上非常有用。但是，我们的测试没有显示出100％的成功，所以它并不总是有效。“

情况已经不是这样了。不再支持noindex robots.txt指令。

这是Google的官方推文：

“今天我们要告诉robots.txt中未记录和不受支持的规则

如果您依赖这些规则，请在我们的博客文章中了解您的选项。“

这是公告的相关部分：

“为了维护健康的生态系统并为未来的潜在开源版本做准备，我们将在2019年9月1日停用处理不支持和未发布的规则（例如noindex）的所有代码。”

如何控制爬行？

谷歌的官方博客文章列出了控制索引的五种方法：