Wordpress SEO

Google的John Mueller解释了Robots.txt阻止页面排名的方式


Google的John Mueller解释了Robots.txt阻止页面排名的方式

Google的John Mueller最近解释了如何确定robots.txt阻止的网页的查询相关性。

它有 已经说过了 谷歌仍会索引被robots.txt阻止的网页。但Google如何知道对这些页面进行排名的查询类型?

这就是昨天的Google网站管理员中心环聊中出现的问题:

“现在每个人都在谈论用户意图。如果某个网页被robots.txt屏蔽,并且正在排名,Google会如何确定与网页内容相关的查询相关性?

作为回应,穆勒表示,如果内容被阻止,谷歌显然无法查看内容。

所以谷歌所做的就是找到其他方法来将网址与其他网址进行比较,当被robots.txt阻止时,这肯定会更难。

在大多数情况下,Google会优先编制网站其他网页的索引,这些网页更易于访问且不会被阻止抓取。

如果Google认为有价值的话,有时被robots.txt屏蔽的网页会在搜索结果中排名。这是由指向页面的链接决定的。

那么Google如何找出如何对被阻止的网页进行排名呢?答案归结为链接。

最终,用robots.txt阻止内容并不是明智之举,并希望谷歌知道如何处理它。

但是,如果您碰巧有被robots.txt阻止的内容,Google会尽力弄清楚如何对其进行排名。

您可以在21:49标记处听到以下完整答案:

“如果它被robots.txt阻止,那么显然我们无法查看内容。因此,我们必须进行即兴创作,并找到方法将该网址与其他尝试为这些查询排名的网址进行比较,这样做要困难得多。

因为它更难,所以如果你有非常好的内容可用于抓取和索引,那么通常我们会尝试使用它而不是随机机器人页面。

所以,从这个角度来看,这并不是那么微不足道。我们有时会在搜索结果中显示机器人页面,因为我们已经看到它们的效果非常好。例如,当人们链接到他们时,我们可以估计这可能是值得的,所有这些事情。

所以,作为网站所有者,我不建议使用robots.txt阻止您的内容并希望它能够很好地运行。但是,如果您的内容确实被robots.txt阻止,我们仍会尝试在搜索结果中以某种方式显示它。“