[ad_1]
如果您想知道如何优化WordPress robots.txt文件以获得更好的SEO，那么您来对地方了。
什么是WordPress robots.txt文件，我需要为此担心吗？
robots.txt文件是您网站上的文件，可让您拒绝搜索引擎访问某些文件和文件夹。您可以使用它来阻止Google（和其他搜索引擎）的漫游器抓取您网站上的某些页面。这是文件的示例：
那么，拒绝访问搜索引擎如何真正改善您的SEO？似乎违反直觉…
它的工作方式如下：您网站上的页面越多，Google必须抓取的页面也越多。
例如，如果您的博客上有很多类别和标签页面，则这些页面的质量很低，不需要被搜索引擎抓取；它们只会消耗您网站的抓取预算（Google在任何给定时间将在您的网站上抓取的分配页面数）。
抓取预算很重要，因为它决定了Google迅速了解您网站的更改，从而确定了您的排名速度。它对电子商务SEO尤其有用！
请注意要正确执行此操作，因为如果做得不好，它可能会损害您的SEO。有关如何正确对正确的页面进行索引编制的详细信息，请参阅DeepCrawl的本指南。
因此，您是否需要弄乱WordPress robots.txt文件？
如果您在大型网站中处于竞争激烈的利基市场，那么可能。但是，如果您只是开始第一个博客，那么构建指向您内容的链接并创建大量高质量文章是更重要的任务。
如何优化WordPress robots.txt文件以获得更好的SEO
现在，让我们讨论如何实际到达（或创建）和优化WordPress robots.txt文件。
Robots.txt通常位于您网站的根文件夹中。您将需要使用FTP客户端或使用cPanel的文件管理器连接到您的站点以进行查看。它只是一个普通的文本文件，您可以使用记事本打开它。
如果您网站的根目录中没有robots.txt文件，则可以创建一个。您需要做的就是在计算机上创建一个新的文本文件，并将其另存为robots.txt。然后，只需将其上传到您网站的根文件夹即可。
理想的robots.txt文件是什么样的？
robots.txt文件的格式非常简单。第一行通常命名一个用户代理。用户代理是您要与之通信的搜索机器人的名称。例如，Googlebot或Bingbot。您可以使用星号*指示所有机器人。
下一行后面是针对搜索引擎的“允许”或“禁止”说明，因此他们知道您要为其编入索引的部分以及您不希望对其进行索引的部分。
这是一个例子：
用户代理： *
允许：/？display = wide
允许：/ wp-content / uploads /
禁止：/readme.html
禁止：/ refer /
站点地图：http://www.codeinwp.com/post-sitemap.xml
站点地图：http://www.codeinwp.com/page-sitemap.xml
站点地图：http://www.codeinwp.com/deals-sitemap.xml
站点地图：http://www.codeinwp.com/hosting-sitemap.xml
请注意，如果您使用的是Yoast或All in One SEO之类的插件，则可能无需添加站点地图部分，因为它们会尝试自动添加。如果失败，则可以像上面的示例一样手动添加它。
我应该禁止或禁止索引什么？
在Google网站站长指南中，他们建议网站站长不要使用自己的robots.txt文件来隐藏低质量的内容。因此，使用robots.txt文件阻止Google为您的类别，日期和其他存档页面编制索引可能不是一个明智的选择。
请记住，robots.txt的目的是指示漫游器如何处理它们在您的网站上爬网的内容。这并不能阻止他们爬行您的网站。
另外，您无需将WordPress登录页面，管理目录或注册页面添加到robots.txt，因为登录页面和注册页面具有WordPress自动添加的noindex标记。
但是，我建议您不要在robots.txt文件中使用readme.html文件。试图弄清楚您使用的WordPress版本的人可以使用此自述文件。如果是这样的人，他们只需浏览即可轻松访问文件。另外，放置禁止标签可以阻止恶意攻击。
如何将WordPress robots.txt文件提交给Google？
更新或创建robots.txt文件后，您可以使用Google Search Console将其提交给Google。
但是，我建议您首先使用Google的robots.txt测试工具对其进行测试。
如果您在此处看不到创建的版本，则必须将创建的robots.txt文件重新上传到WordPress网站。您可以使用Yoast SEO做到这一点。
结论
您现在知道了如何优化WordPress robots.txt文件以获得更好的SEO。
通过robots.txt对网站进行任何重大更改时，请务必小心。这些更改虽然可以改善您的搜索量，但如果您不小心的话，也可能弊大于利。
如果您渴望获得更多的学习知识，请查看我们的WordPress最终指南汇总！