[ad_1]
抓取预算是一个经常被忽略的至关重要的SEO概念。
有这么多 任务 和问题，搜索引擎优化专家必须记住，它经常被放回去。
简而言之，爬网预算可以而且应该被优化。
在本文中，您将学习：
- 如何一路提高抓取预算。
- 在过去的几年中，将更改作为概念进行细化。
什么是抓取预算
因此，对于那些想起/担心/汗水如此之多的人，我们甚至忘了抓取预算意味着什么，这里有个简短的回顾。
抓取预算只是搜索引擎的抓取工具（即蜘蛛和漫游器）遍历您的域页面的频率。
该频率被概念化为 暂定平衡 在Googlebot不会使您的服务器超负荷的尝试与Google总体上对您的域进行爬网的愿望之间。
抓取预算优化只是您可以专门采取的一系列步骤，以提高搜索引擎的漫游器访问您网页的速度。
他们访问的次数越多，进入页面更新索引的速度就越快。
因此，您的优化工作将花费更少的时间来把握并开始影响您的排名。
有了这样的措辞，这听起来确实像我们每个人都应该每秒做的最重要的事情，对吗？
好吧，不完全是。
为什么会忽略抓取预算优化？
要回答这个问题，您只需要看一下 官方博客文章 由Google提供。
正如Google明确解释的那样，爬网本身并不是排名因素。
因此，仅此一项就足以阻止某些SEO专业人员甚至不必考虑爬网预算。
对我们许多人来说，“不是排名因素”等同于“不是我的问题”。
我全心不同意。
但即使忘记了这一点，也有Google的Gary Illyes的评论。他说过 彻底 对于一个拥有数百万个页面的庞大网站，可以肯定的是，抓取预算管理是有意义的。
但是，如果您是一个规模适中的域，那么您不必对抓取预算过分关注。 （实际上，如果您确实拥有数百万个页面，则应考虑剪切某些内容，这通常对您的域是有益的。）
但是，众所周知，SEO绝不是改变一个大因素并获得结果的游戏。
SEO是一个非常小的，渐进式更改的过程，需要照顾许多指标。
在很大程度上，我们的工作是确保尽可能优化数千个微小的小事情。
此外，尽管它本身并不是一个主要的爬行因素，但正如Google的John Mueller一样 指出，这对转化和网站整体健康很有帮助。
综上所述，我认为重要的是要确保您的网站上没有任何东西正在积极地损害您的抓取预算。
今天如何优化您的抓取预算
仍然有些事情非常繁重，而其他事情的重要性却发生了巨大变化，以至于根本没有意义。
您仍然需要注意我所说的网站运行状况的“常见嫌疑人”。
1.允许在Robots.Txt中爬行您的重要页面
这是不费吹灰之力，自然而然的第一步，也是最重要的一步。
可以通过人工方式或使用网站审核工具来管理robots.txt。
我宁愿尽可能使用工具。这是工具更加方便和有效的一种情况。
只需将robots.txt添加到您选择的工具中，即可让您在几秒钟内允许/阻止抓取您域中的任何页面。然后，您只需上传编辑后的文档，瞧！
显然，任何人都可以手工完成。但是根据我的个人经验，我知道在一个非常大的网站上，可能需要经常进行校准，因此让工具帮助您变得容易得多。
2.当心重定向链
这是网站健康的常识性方法。
理想情况下，您将能够避免在整个域上甚至只有一个重定向链。
老实说，对于大型网站而言，这是一项不可能完成的任务– 301和302重定向 必然会出现。
但是，这些链接在一起的一堆肯定会损害您的抓取限制，以至于搜索引擎的抓取工具可能会简单地停止抓取而不会进入需要索引的页面。
在这里进行一两次重定向，可能不会对您造成太大伤害，但这仍然是每个人都需要注意的事情。
3.尽可能使用HTML
现在，如果我们在谈论Google，那么必须说它的搜寻器在 抓取JavaScript 特别是在Flash和XML的爬网和索引编制方面也有所改进。
另一方面， 其他搜索引擎 还没到那儿。
因此，我个人的观点是，应尽可能使用HTML。
这样一来，您肯定不会因为任何爬虫而损失机会。
4.不要让HTTP错误占用您的检索预算
从技术上讲 404和410页 吃掉您的抓取预算。
如果这还不够糟糕，那么它们也会损害您的用户体验！
这就是为什么修复所有4xx和5xx状态代码确实是双赢的原因。
同样，在这种情况下，我赞成使用网站审核工具。
SE排名和Screaming Frog是SEO专业人员用来进行网站审核的两个很棒的工具。
5.注意URL参数
请始终记住，抓取工具会将单独的网址视为单独的页面，这浪费了宝贵的抓取预算。
同样，让Google知道这些URL参数将是双赢的局面，既可以节省抓取预算，又可以避免引起对重复内容的担忧。
因此，请确保将它们添加到您的Google Search Console帐户中。
6.更新您的站点地图
再一次，照顾您的XML网站地图是一次真正的双赢。
机器人将更好，更轻松地了解内部链接的位置。
仅使用适用于您的站点地图的URL。
另外，请确保它对应于robots.txt的最新上传版本。
7. Hreflang标签至关重要
为了分析您的本地化页面，搜寻器使用hreflang标签。而你应该 告诉Google 尽可能清楚地了解页面的本地化版本。
首先，使用<link rel =“ alternate” hreflang =“lang_code页面标题中的“ href =“ http://tracking.feedpress.it/url_of_page” />。其中“ lang_code”是 支持的语言。
您应该使用
摘要
因此，如果您想知道爬网预算优化对于您的网站是否仍然很重要，答案显然是肯定的。
对于每位SEO专业人员而言，抓取预算过去是，过去曾经是，而且可能会很重要。
希望这些技巧将帮助您优化抓取预算并提高SEO性能。
祝好运！
图片积分
特色图片：Paulo Bobita
作者拍摄的所有屏幕截图