[ad_1]
Google的John Mueller最近解釋了如何確定robots.txt阻止的網頁的查詢相關性。
它有 已經說過了 谷歌仍會索引被robots.txt阻止的網頁。但Google如何知道對這些頁面進行排名的查詢類型？
這就是昨天的Google網站管理員中心環聊中出現的問題：
「現在每個人都在談論用戶意圖。如果某個網頁被robots.txt屏蔽，並且正在排名，Google會如何確定與網頁內容相關的查詢相關性？
作為回應，穆勒表示，如果內容被阻止，谷歌顯然無法查看內容。
所以谷歌所做的就是找到其他方法來將網址與其他網址進行比較，當被robots.txt阻止時，這肯定會更難。
在大多數情況下，Google會優先編製網站其他網頁的索引，這些網頁更易於訪問且不會被阻止抓取。
如果Google認為有價值的話，有時被robots.txt屏蔽的網頁會在搜索結果中排名。這是由指向頁面的鏈接決定的。
那麼Google如何找出如何對被阻止的網頁進行排名呢？答案歸結為鏈接。
最終，用robots.txt阻止內容並不是明智之舉，並希望谷歌知道如何處理它。
但是，如果您碰巧有被robots.txt阻止的內容，Google會儘力弄清楚如何對其進行排名。
您可以在21:49標記處聽到以下完整答案：
「如果它被robots.txt阻止，那麼顯然我們無法查看內容。因此，我們必須進行即興創作，並找到方法將該網址與其他嘗試為這些查詢排名的網址進行比較，這樣做要困難得多。
因為它更難，所以如果你有非常好的內容可用於抓取和索引，那麼通常我們會嘗試使用它而不是隨機機器人頁面。
所以，從這個角度來看，這並不是那麼微不足道。我們有時會在搜索結果中顯示機器人頁面，因為我們已經看到它們的效果非常好。例如，當人們鏈接到他們時，我們可以估計這可能是值得的，所有這些事情。
所以，作為網站所有者，我不建議使用robots.txt阻止您的內容並希望它能夠很好地運行。但是，如果您的內容確實被robots.txt阻止，我們仍會嘗試在搜索結果中以某種方式顯示它。「