谷歌取消對Robots.txt Noindex的支持

[ad_1]
谷歌取消對Robots.txt Noindex的支持

谷歌正式宣布，GoogleBot將不再遵守與索引相關的Robots.txt指令。依賴robots.txt noindex指令的發布商必須在2019年9月1日之前將其刪除並開始使用替代方案。

Robots.txt Noindex非官方

不支持noindex robots.txt指令的原因是因為它不是官方指令。

谷歌過去曾支持過這個robots.txt指令但不再是這種情況了。請適當注意並相應地管理自己。

Google主要用於服從Noindex指令

StoneTemple發表了一篇文章注意到谷歌大多遵守robots.txt noindex指令。

他們當時的結論是：

「最終，Robots.txt中的NoIndex指令非常有效。它在我們測試的12個案例中有11個起作用。它可能適用於您的網站，並且由於它的實現方式，它為您提供了一個防止抓取頁面並將其從索引中刪除的路徑。

這在概念上非常有用。但是，我們的測試沒有顯示出100％的成功，所以它並不總是有效。「

情況已經不是這樣了。不再支持noindex robots.txt指令。

這是Google的官方推文：

「今天我們要告訴robots.txt中未記錄和不受支持的規則

如果您依賴這些規則，請在我們的博客文章中了解您的選項。「

這是公告的相關部分：

「為了維護健康的生態系統並為未來的潛在開源版本做準備，我們將在2019年9月1日停用處理不支持和未發布的規則（例如noindex）的所有代碼。」

如何控制爬行？

谷歌的官方博客文章列出了控制索引的五種方法：