[ad_1]
抓取预算是一个重要的SEO概念，往往被忽视。
有这么多 任务 并且发布一个SEO专家必须记住，它经常被置于次要地位。
简而言之，可以并且应该优化爬网预算。
在本文中，您将学习：
- 如何在此过程中改善抓取预算。
- 在过去几年中，将更改作为一个概念进行爬行预算。
什么是抓取预算
因此，对于我们这些已经有太多思考/担心/出汗的人，我们忘记了爬行预算甚至意味着什么，这里是一个快速回顾。
抓取预算只是搜索引擎抓取工具（即蜘蛛和漫游器）越过您网域网页的频率。
该频率被概念化为a 暂时的平衡 Googlebot尝试不会过度拥挤您的服务器与Google整体抓取您的域名的愿望之间的关系。
抓取预算优化只是一系列步骤，您可以专门用于提高搜索引擎机器人访问您网页的速度。
他们访问的次数越多，进入索引的页面就越快。
因此，您的优化工作将花费更少的时间来抓住并开始影响您的排名。
有了这个措辞，这听起来肯定是我们每一秒都应该做的最重要的事情，对吗？
好吧，不完全是。
为什么抓取预算优化被忽略了？
要回答这个问题，你只需要看看这个 官方博客文章 由谷歌。
正如Google明确解释的那样，爬行本身并不是排名因素。
因此，仅凭这一点就足以阻止某些SEO专业人员甚至考虑爬行预算。
对我们许多人来说，“不是排名因素”等同于“不是我的问题”。
我全心全意地不同意这一点。
但即使忘了这一点，也有Google的Gary Illyes的评论。他说过 公然 当然，对于数百万页的庞大网站来说，抓取预算管理是有道理的。
但是如果你是一个规模适中的域名，那么你就不必过多地关注爬行预算了。 （事实上，如果你真的拥有数百万的页面，你应该考虑削减一些内容，这对你的域名来说是有益的。）
但是，众所周知，搜索引擎优化根本不是改变一个重要因素并获得结果的游戏。
SEO是一个进行小规模增量变更的过程，负责处理数十个指标。
我们的工作在很大程度上是为了确保尽可能优化成千上万的小东西。
此外，尽管它本身并不是一个很大的爬行因素，正如谷歌的约翰穆勒那样 指出，它有利于转换和整体网站健康。
尽管如此，我认为确保您网站上的任何内容都不会影响您的抓取预算非常重要。
如何优化您今天的抓取预算
仍有一些超重型的东西，而其他人的重要性已发生巨大变化，甚至完全没有相关性。
你还需要注意我称之为网站健康的“常见嫌疑人”。
1.允许在Robots.Txt中抓取您重要的页面
这是一个不费脑子的事情，也是一个自然的第一步也是最重要的一步。
管理robots.txt可以手动完成，也可以使用网站审核工具完成。
我希望尽可能使用工具。这是工具简单方便有效的实例之一。
只需将您的robots.txt添加到您选择的工具中，您就可以在几秒钟内允许/阻止抓取您网域的任何网页。然后，您只需上传已编辑的文档即可！
显然，任何人都可以手工完成。但根据我的个人经验，我知道有一个非常大的网站，可能需要经常校准，让工具帮助你更容易。
2.注意重定向链
这是网站健康的常识性方法。
理想情况下，您可以避免在整个域中使用单个重定向链。
老实说，对于一个非常大的网站来说，这是一项不可能完成的任务 – 301和302重定向 必然会出现。
但是，一堆链接在一起的，肯定会损害你的抓取限制，以至于搜索引擎的抓取工具可能只是停止抓取而不进入你需要索引的页面。
这里有一两个重定向，可能不会对你造成太大的损害，但这是每个人都需要好好照顾的东西。
3.尽可能使用HTML
现在，如果我们正在谈论谷歌，那么必须要说它的爬虫在相当好一点 抓取JavaScript 特别是，还改进了对Flash和XML的爬行和索引。
另一方面， 其他搜索引擎 还没到那儿。
因此，我个人的立场是，只要有可能，你应该坚持使用HTML。
这样，你肯定不会伤害任何爬行器的机会。
4.不要让HTTP错误吃掉你的抓取预算
从技术上讲， 404和410页 吃掉你的爬行预算。
如果这还不够糟糕，它们也会损害您的用户体验！
这正是为什么修复所有4xx和5xx状态代码真的是一个双赢的原因。
在这种情况下，我再次赞成使用工具进行网站审核。
SE排名和尖叫青蛙是SEO专业人员用来进行网站审核的几个很棒的工具。
5.注意你的URL参数
请始终牢记，抓取工具将单独的网址视为单独的网页，从而浪费宝贵的抓取预算。
再次，让Google了解这些网址参数将是一个双赢的局面，保存您的抓取预算，以及避免引起对重复内容的担忧。
因此，请务必将其添加到您的Google Search Console帐户。
6.更新您的站点地图
再一次，处理XML站点地图真的是双赢。
机器人将有更好，更容易的时间来了解内部链接的引导。
仅使用适用于您的站点地图的规范网址。
此外，请确保它对应于最新上传的robots.txt版本。
7. Hreflang标签至关重要
为了分析您的本地化页面，抓取工具使用hreflang标记。你应该是 告诉谷歌 尽可能清楚地了解您网页的本地化版本。
首先，使用<link rel =“alternate”hreflang =“LANG_CODE页面标题中的“href =”url_of_page“/>。”lang_code“是一个代码 支持的语言。
你应该使用
摘要
因此，如果您想知道爬网预算优化对您的网站是否仍然重要，那么答案显然是肯定的。
对于每个SEO专业人士来说，抓取预算是，现在，也可能是一个重要的事情。
希望这些提示可以帮助您优化抓取预算并提高SEO性能。
祝好运！
图片来源
特色图片：作者创建，2019年8月
截图由作者拍摄，2019年8月