[ad_1]
Google的John Mueller最近解释了如何确定robots.txt阻止的网页的查询相关性。
它有 已经说过了 谷歌仍会索引被robots.txt阻止的网页。但Google如何知道对这些页面进行排名的查询类型？
这就是昨天的Google网站管理员中心环聊中出现的问题：
“现在每个人都在谈论用户意图。如果某个网页被robots.txt屏蔽，并且正在排名，Google会如何确定与网页内容相关的查询相关性？
作为回应，穆勒表示，如果内容被阻止，谷歌显然无法查看内容。
所以谷歌所做的就是找到其他方法来将网址与其他网址进行比较，当被robots.txt阻止时，这肯定会更难。
在大多数情况下，Google会优先编制网站其他网页的索引，这些网页更易于访问且不会被阻止抓取。
如果Google认为有价值的话，有时被robots.txt屏蔽的网页会在搜索结果中排名。这是由指向页面的链接决定的。
那么Google如何找出如何对被阻止的网页进行排名呢？答案归结为链接。
最终，用robots.txt阻止内容并不是明智之举，并希望谷歌知道如何处理它。
但是，如果您碰巧有被robots.txt阻止的内容，Google会尽力弄清楚如何对其进行排名。
您可以在21:49标记处听到以下完整答案：
“如果它被robots.txt阻止，那么显然我们无法查看内容。因此，我们必须进行即兴创作，并找到方法将该网址与其他尝试为这些查询排名的网址进行比较，这样做要困难得多。
因为它更难，所以如果你有非常好的内容可用于抓取和索引，那么通常我们会尝试使用它而不是随机机器人页面。
所以，从这个角度来看，这并不是那么微不足道。我们有时会在搜索结果中显示机器人页面，因为我们已经看到它们的效果非常好。例如，当人们链接到他们时，我们可以估计这可能是值得的，所有这些事情。
所以，作为网站所有者，我不建议使用robots.txt阻止您的内容并希望它能够很好地运行。但是，如果您的内容确实被robots.txt阻止，我们仍会尝试在搜索结果中以某种方式显示它。“