提交一份 XML 站点地图 可以为搜索引擎提供您希望他们索引的每个网站页面的完整细分。 因此，这是您的重要一步 搜索引擎优化 (SEO) 战略。 但是，为了获得最佳结果，您需要使用站点地图验证器来确保您不会发送有错误的文件。
在本文中，我们将讨论什么是站点地图验证器以及它们是如何工作的。 然后，我们将指导您解决在使用站点地图验证器时可能遇到的常见错误以及如何解决这些错误。 让我们开始吧！
什么是站点地图验证器？
站点地图是一个文件，其中包含您希望搜索引擎索引的网站上每个 URL 的列表。 站点地图进来 XML 或 HTML 格式，前者是最受欢迎的选项。
从技术上讲，您不需要向 Google 或其他搜索引擎提交您网站的站点地图。 这些平台 使用爬虫 导航您的网站、识别每个 URL 并为这些页面编制索引。 但是，创建站点地图可以让您完全控制搜索引擎索引哪些 URL 以及不应该索引哪些 URL（例如私有或冗余内容）。
在大多数情况下，您将使用自动生成的站点地图。 如果您使用 WordPress， Yoast 等 SEO 插件 可以帮助您创建可以提交的站点地图 谷歌搜索控制台：
站点地图验证器是一种可以处理这些 XML 或 HTML 文件并确保它们不包含错误的工具。 “错误”是指：
- 搜索引擎无法抓取的页面
- 404 错误
- 401 错误
- 站点地图中的 URL 过多
- 非规范网址
如果您的站点地图包含任何这些错误，则搜索引擎可能无法索引您列出的每个页面。 手动读取 XML 文件查找问题可能需要很长时间，并且您还需要测试 URL。 幸运的是，站点地图验证器使您能够跳过所有工作并开始修复它们识别的任何错误。
如何使用站点地图验证器
使用站点地图验证器很简单。 根据您使用的工具，您可能需要上传 XML 文件或提供指向您网站站点地图的 URL。 如果您使用诸如 XML 站点地图验证器.
输入您要检查的站点地图的 URL，该工具将返回一份报告，其中包括它发现的任何错误。
如果您得到一份没有问题的干净报告，搜索引擎可以将站点地图中的 URL 编入索引。 您可以安全地将站点地图提交到 谷歌, 必应, Yandex，或任何你想去的地方，不用担心。 但是，如果您遇到错误，您需要知道如何修复它们。 这将我们带到下一节。
5 个常见的站点地图错误以及如何修复它们
不幸的是，一些站点地图无法完美验证，但我们将介绍一些站点地图验证器可以在您提交给他们的文件中发现的最常见错误。 让我们从讨论抓取“问题”的页面开始。
1. 有抓取问题的页面
爬取问题是验证者返回的最常见问题之一。 此错误意味着该服务无法抓取您站点地图中的某个页面。
通常，当验证器或搜索引擎无法抓取页面时，意味着以下场景之一：
- 页面加载时间过长。 如果您的网站加载时间过长，与爬虫的连接将超时。 这意味着某些页面可能不会被索引。
- 您的网站使用了过多的重定向。 什么时候 重定向设置不正确，您的网站可能会进入重定向循环。 这意味着搜索引擎将无法抓取它。
- 该网站阻止搜索引擎抓取它。 你可以 配置 WordPress 以阻止爬虫 （使用 noindex 标签），这样您的网站就不会被索引。 通常，您可能会在构建站点或创建私有页面时执行此操作。
- 该页面返回 404 或 401 以外的错误代码。站点地图验证器可以解析 404 错误。 然而，其他 HTTP 错误代码 将导致“抓取问题”警告。
“抓取问题”错误可能是模棱两可的。 但是，您可以通过访问有问题的 URL 来确定确切的问题。 如果页面加载快速且正确，则您的网站可能会阻止搜索引擎对其进行抓取。
如果页面加载没有错误，我们建议 测试您网站的加载时间 看看是否有性能问题。 否则，您应该会看到特定的错误代码或多个重定向的实例。
2. 404错误
404 错误 在站点地图中很容易解决。 如果页面不再存在，您可以手动从站点地图中删除该条目或为其设置重定向。 您的最佳选择将取决于该页面是否仍在获得流量。
来自 Google Search Console 和其他服务的网站分析将显示 404 页面是否仍在接收访问者。 在这种情况下，您最好的选择是设置一个重定向到最近的相关页面或帖子，这样您就不会错过该流量。 只要您使用单个重定向，就不会导致站点地图验证错误。
3. 401错误
一个 401“未经授权”错误 在站点地图中意味着爬虫无法访问特定页面，因为它们没有必要的权限。 当您处理需要用户登录的页面时，通常会弹出此错误。
解决此错误的唯一方法是从站点地图中删除需要授权的页面。 任何只有登录用户才能看到的页面不应被编入索引。 否则，在搜索引擎结果页面 (SERP) 中单击它的访问者会发现自己面临 401 错误。
4. 站点地图中的 URL 过多
搜索引擎可以抓取具有数千个页面的海量网站。 但是，根据我们的经验，如果您列出接近（或超过）50,000 个页面，站点地图就会开始显示错误。
如果那是您的情况，那么为您的努力表示敬意。 50,000 页是很多。 但是，大多数拥有超过 50,000 个页面的网站可能具有来自用户生成内容的多个 URL。 在这种情况下，您希望优先考虑站点上最重要的页面，同时删除用户可能不想在 SERP 中看到的站点地图条目。
5. 站点地图中的非规范 URL
有时，搜索引擎在看到同一页面的多个版本的 URL 时可能会感到困惑。 例如，您可能能够使用以下任一 URL 访问一个简单的博客页面：
- http://yourwebsite.com
- http://www.yourwebsite.com
- https://yourwebsite.com
- https://www.yourwebsite.com
实际上，所有这些 URL 都可以指向同一个页面（如果您重定向 到 HTTPS 的 HTTP 流量）。 但是，搜索引擎可能会将这些 URL 视为站点地图中的四个不同条目，从而导致验证错误。
解决这个问题的简单方法是 指定规范 URL 为您的 WordPress 网站。 Yoast 等 SEO 插件会自动为您的网站分配规范的 URL。 如果您使用的是由 SEO 插件生成的 XML 文件，则在使用站点地图验证器时不应遇到“非规范”错误。
结论
随着您网站的发展， 使用站点地图 变得更加关键。 站点地图让您告诉搜索引擎他们应该索引哪些页面以及忽略哪些页面。 此外，使用站点地图验证器将帮助您发现错误，以便爬虫在索引您的网站时不会遇到问题。
回顾一下，使用站点地图验证器可能遇到的五个最常见错误是：
- 存在抓取问题的页面：您需要检查加载时间、重定向并访问您的网站页面以确定确切的问题。
- 404 错误：此错误意味着您应该从站点地图中删除不存在的页面或为其设置重定向。
- 401 错误：考虑从站点地图中删除受限页面。
- 站点地图中的 URL 过多：您可能需要对站点地图中的页面有所选择，并删除不太有用的页面。
- 站点地图中的非规范 URL：我们建议为特定页面设置规范 URL。
您对使用站点地图验证器有任何疑问吗？ 让我们在下面的评论部分中讨论它们！
特色图片来自 hanss / shutterstock.com