[ad_1]
谷歌的约翰·穆勒（John Mueller）说，没有基准可以确定网站的最佳爬网预算。
这是为了回应 Reddit线程 搜索引擎优化（SEO）询问Googlebot每天应爬网的网页中是否有理想的百分比。这个问题背后的想法是，如果Googlebot定期抓取内容，则内容可能会保持新鲜。
这是完整的问题：
“虽然每个人都在谈论抓取预算，但我没有找到具体的限制或范围。例如，每天应由GoogleBot抓取的页面总数（或每天进行的总更改）中的最小百分比应该是什么，以确保内容新鲜？
我了解这可能会有很大的不同，因为很多内容取决于网站上的静态/可变内容。我只是想了解如何对抓取预算进行基准测试。”
作为回应，穆勒只是简单地说：“没有数字。”
因此，如果您希望增加抓取预算，那么实际上没有理想的目标。但是，这并不是说优化网站的抓取预算没有任何好处。
什么是抓取预算？
简而言之，抓取预算是Googlebot能够抓取（基于网站速度）并且想要抓取（根据用户需求）的URL数量。
较高的抓取预算可以帮助使热门内容保持最新状态，并有助于防止较旧的内容过时。
看到： Google的Gary Illyes解释了Googlebot抓取预算
影响抓取预算的因素
改善检索预算的最佳方法之一是限制网站上低附加值URL的数量，例如：
- 分面导航和会话标识符
- 现场重复内容
- 软错误页面
- 被黑的页面
- 无限空间和代理
- 低质量和垃圾邮件内容
这些类型的页面可以使抓取活动从网站上更重要的页面中窃取。
建议网站所有者在Search Console中监控抓取错误报告，并将服务器错误保持在最低水平。
另请参阅： 优化SEO抓取预算的7个技巧