并非所有拥有WordPress网站的用户都希望在Google的第1页上展示该功能。事实上，许多用户宁愿他们的网站根本没有出现在谷歌或任何搜索引擎上。
如果情况确实如此，那么当前的WordPress版本允许您通过从WordPress仪表板设置>阅读中选中“阻止搜索引擎索引此站点”选项来执行此操作。
但是，它下面有一个小的免责声明：
搜索引擎可以遵守此请求。
因此，虽然到目前为止这是阻止搜索引擎抓取您的网站的简单方法，但您的网站始终可能会在搜索结果中结束。
WordPress 5.3将解决这个问题
新的WordPress版本将改变它阻止搜索引擎索引网站的方式。版本5.3将删除robots.txt方法并添加更新的漫游器元标记，以防止您的网站在搜索引擎上列出：
当然，这个新的元标记是一种更明确的方式，可以防止您的网站被编入索引或抓取。
robo.txt方法中的当前问题由Jono Alderson在trac票证上以及他提出的解决方案进行了很好的总结：
阅读设置推断它旨在阻止搜索引擎索引内容，而不是抓取内容。但是，机器人禁止规则的存在会阻止搜索引擎发现noindex指令，因此它们可能会索引“片段”（页面被索引而没有内容）。
谷歌最近宣布，他们正在努力防止碎片索引。但是，直到存在（并且我不确定它会存在;它有时仍然是必要/正确的解决方案），我们应该解决当前的行为。我们删除robots.txt禁止规则，并允许Google（和其他人）抓取该网站。
希望这个新的元标记可以更好地保持您的开发站点（或个人站点）不会出现在搜索引擎中。
你认为这对WordPress 5.3来说是一个受欢迎的补充吗？请在下面的评论部分告诉我们，我们可以详细讨论！
WordPress 5.3的帖子：用于更好的搜索引擎爬行预防的机器人元标记首先出现在WPblog上。