[ad_1]
Google只抓取大型企业网站上大约一半的网页，这意味着这些网页不会被添加到索引中。这也意味着他们无法对业务进行排名或生成有机流量和收入。
大型网站的搜索引擎优化根本无法从排名和关键字开始，否则您将错失巨大的机会。
企业网站所有者需要更深入地关注整个搜索过程 – 从其技术基础和搜索引擎如何抓取它，到真正的受众如何与之互动。
9月11日，我主持了赞助 SEJ网络研讨会 由Botify品牌内容和传播总监Kameron Jenkins主讲。
詹金斯分享了企业如何通过消除谷歌与其网站之间的障碍获得大规模胜利。
以下是网络研讨会演示文稿的概述。
大多数企业都专注于从他们的网站获取排名和流量，因为他们首先忽视了流量的获取方式 – 而且首先是Google如何抓取网站。
企业需要从整体上思考搜索引擎优化，从爬行到转换，如果他们想要有效。
2018年，Botify进行了一次c全面研究 关于Google如何抓取网络。他们分析了从这些网站的日志文件中提取的4.13亿个抓取页面和60亿个Googlebot请求。
调查结果显示，即使谷歌是“合规”网页，谷歌仍然缺少51％的网页。
为什么会这样？
一方面，网络庞大，每天都在变大 – 谷歌需要花费数万亿的其他页面，这意味着他们可以限制他们在移动之前可以在您的网站上获得多少时间/页面。
现代网络也比以往任何时候都复杂，让Google花费更多时间来抓取和渲染JavaScript等内容。
Botify在数据中发现的内容有助于验证他们的假设，即Google对大型网站的处理方式与小型网站不同。
如果您在此处查看图表，您会发现随着网站变得越来越大（就其拥有的网址数量而言），抓取网页和网页获得自然搜索流量的百分比越小。
现在，只是谷歌不喜欢大型网站吗？
一点也不。只是由于网络的规模和复杂性，谷歌资源紧张。
虽然他们在较小的网站上浏览内容没有任何问题，但这对于拥有数百万个网址的大型网站来说非常重要。
Botify还发现，网站越大，您就越需要担心 抓取预算优化因为每一件可能占用Google时间的小事（例如导致页面加载时间增加的事物）乘以数百万页的规模会对Google能够通过多少页面产生巨大影响。
因此，虽然较小的SMB网站可能不必担心抓取预算优化并且可以直接进入关键字优化和排名，但较大的网站根本没有那么奢侈。
企业网站需要一种不同的方法
我们需要承认企业网站需要采用不同的SEO方法。
那看起来到底是什么样的？
而不是在排名阶段开始和关注 – 就像许多SEO专业人士习惯的那样 – 你必须缩小。
在大型网站上工作的SEO专业人员需要查看完整的漏斗。
企业网站根本无法从关键字和排名开始，否则他们将错失巨大的机会。
爬行到转换过程如何工作
通过搜索，起点是您的网站，然后是谷歌抓取它的方式，然后是如何将其添加到索引中，然后搜索者如何找到它并与之交互。
您可以使用搜索所具有的相同逻辑顺序，并在您评估网站的SEO方面对其进行镜像。
1.了解您网站上存在哪些页面
首先要了解您网站上存在哪些页面。
对于人们来说，这一步骤通常非常令人大开眼界，特别是那些在电子商务网站上工作的人，由于排序和过滤选项可以创建大量不同版本的具有相同内容的单个页面，因此有多种不同的方式来访问单个页面。
在抓取之前，您可能无法准确了解网站结构中实际有多少页面或页面。
2.看看谷歌实际访问的那些页面
接下来，通过分析您的日志文件来查看Google实际访问的那些页面。
抓取的目标是以谷歌的方式浏览您的网站，如果它可以花费无限的时间来探索您的网站，但由于Google没有无限的时间，这一步非常重要，因为它可以让您查看Google的哪些页面是访问与忽略。
3.了解您的索引页面如何在SERP中执行
在前两个步骤中，您可能会找到您不希望他们访问的Google正在访问的网页，以及他们遗漏的重要网页。
要确保Google将您的关键页面添加到其索引中，您可以：
- 调整您的robots.txt文件，以指示Google远离某些网页。
- 更新您的站点地图以包含您的关键页面。
- 删除那些具有404重定向的错误URL。
- 改善关键页面的内部链接和页面深度。
因为只有一个页面被编入索引，人们才能通过搜索找到它。
在第三步中，您将想知道索引页面在SERP中的执行情况：
- 他们获得了多少次展示。
- 他们出现了什么关键词。
- 他们排名的位置是什么。
4.评估搜索者如何与您的页面进行交互
一旦页面显示在SERP中，搜索者就可以找到并点击该页面，因此最后一步是评估搜索者与您的页面进行交互的方式：
- 他们获得了多少次访问（如果有的话）。
- 跳出率是多少。
- 转换率是多少。
为什么要实施企业搜索引擎优化的爬行转换框架
这个框架的优点在于，当你改进一件事时，它会在下游产生连锁反应。
例如，您让Google抓取更多网页，索引中包含更多网页，索引中的更多网页意味着获得有机流量和收入的机会更多。
人们通常将排名和流量视为“以增长为中心”的东西，以及爬行优化等技术/ QA的东西，但技术修复导致增长。
它们都会相互影响，你只需记住完整的图片，否则你可能会错过这个机会。
小贴士和小贴士
摘要1：大型网站有爬网问题
首先，请记住，大型企业网站需要不同的框架，因为它们面临的挑战不同于较小的网站。
谷歌完全错过了这些网站关键页面的大约一半，在很多情况下还有更多。
外卖2：他们无法从关键词开始
由于这一现实，在大型网站上工作的SEO专业人员无法开始使用关键字，页面优化和排名。
如果他们这样做，他们将错过在抓取/渲染/索引阶段从您的漏斗中进一步消除这些问题所带来的巨大机会。
那么你现在能做什么呢？
提示1：用所有数据武装自己
第一步是确保您拥有所有数据。除非您在搜索过程的每个阶段都清楚地了解您的网站，否则您无法评估和改进完整的渠道。
- 抓取您的网站并清点那里的所有内容。
- 访问您的日志文件，以便查看Google正在访问哪些网页以及他们丢失了哪些网页。
- 了解索引页面在SERP中的效果，您可以从Google Search Console获取这些内容，例如您的展示次数，您要显示的查询，排名和点击率。
- 获取您的网站分析数据，以便您知道搜索者在您的网页上登陆后正在做什么。
- 他们花了多少时间？
- 跳出率是多少？
- 他们转换了吗？
技巧2：审核时查看完整图片
如果没有所有这些数据点，并且没有统一它们，您将无法在搜索过程中全面了解您的网站。
例如，如果您只有关键字数据，那么您可能只知道您排名的位置，而不是您在该位置排名的原因，这可以通过查看该网页的抓取或日志数据来发现。
拥有所有这些数据并统一它有助于向您展示为什么背后的原因。
提示3：让自己坐在桌旁
最后的提示是让自己坐在桌旁。说起来容易做起来难，但你在组织中的结构和价值方式却大不相同。
如果您的搜索引擎优化部门远离您的开发团队，或者甚至远离您的营销团队，那么决策将继续做出不适合您的搜索性能的决策。
如果您无法实现将SEO整合到您的产品和营销团队所需的组织转变，那么首先要与这些团队建立关系。
确保他们知道你是谁，并了解他们。发展友谊。
当你已经建立了关系时，分享你的观点以及了解他们的观点要容易得多。
帮助连接点以向他们展示某些更改（可能是为了改进一件事）实际上最终会损害搜索性能，并提供替代方案。
他们将学会依靠你，并希望在部署这些变化之前开始记得询问你的意见。
Q＆A
以下是Kameron Jenkins回答的一些与会者问题。
问：我们即将从头开始创建一个拥有数千个目标网页的企业站点。你有什么建议让这些索引更快？
Kameron Jenkins（KJ）：Botify有一个名为“站点地图生成器“这对此非常完美。在您抓取网站以获取网页列表后，您可以过滤以仅查看“兼容“页面（索引中需要的页面，如未标记为noindex的页面，具有200状态代码等）。
如果您有一个非常大的网站并且需要构建超过50,000个URL的XML站点地图，则URL将自动分解为多个站点地图（根据 谷歌的站点地图指南）。通过Botify，您可以将该页面列表导出到可以提交到Google Search Console的sitemap.xml文件中。
要确保Google实际抓取您提交的网址，您可以查看Botify的“按天抓取的网址”报告。如果您的网址仍未被抓取，请确保您不会通过robots.txt意外阻止它们，并确保它们已链接到整个网站。
我们还建议您将最重要的页面保持在主页附近，如 页面深度可以与较少频繁的爬网相关联。
问：您推荐哪些爬网平台？
KJ：我们有偏见，但我们认为Botify的爬虫非常棒！它被称为Botify Analytics，它可以在一次爬网中以每秒250个URL的速率爬行多达5000万个URL。
问：如何判断Google是否限制抓取/索引的网页？什么规模的网站被视为“企业”？
KJ：您需要将抓取数据与日志文件数据进行比较。第一步是清点您的网站以记录您的所有网址，然后通过对日志文件数据进行分层，您可以看到Google正在点击哪些网址与丢失的网址。
虽然没有严格的数字使网站成为“企业”，但我们倾向于将其定义为拥有数十万个网址或数百万个网址的网站。
谷歌已经表示，“如果一个网站的网址少于几千个，大部分时间都会被高效抓取”，因此拥有超过几千个网址的网站（如企业网站）可能会开始遇到抓取问题。
问：什么是技术搜索引擎优化的KPI？
KJ：我们有一篇很棒的文章回答了这个问题！它被称为 五大技术SEO KPI。爬行到转换框架时要记住的一件重要事情是，即使是技术更改，虽然它们最直接地导致技术改进，但通常还具有级联效果，可以改善排名和流量等“传统”SEO关键绩效指标。
问：SEO学习JavaScript，HTML或CSS以帮助与其他团队沟通是否有任何好处？
KJ：虽然SEO专业人员不一定需要学习如何编程，但能够说出开发人员的语言总是有益的。
了解JavaScript等基础知识的另一个好处是，您将能够理解它何时发生并且不会影响SEO。看到 用于SEO的JavaScript 101 有关更多信息。
问：当您的公司销售数十万种产品时，您如何确定优先处理的工作？
KJ：肯定不是一件轻松的事！有两种主要方法可以有效地确定优先顺序：
- 了解对您的业务有何重要意义
- 了解当前在您的网站上工作/不工作的内容。
制作对您的业务非常重要的页面列表（例如，您的战略产品）并特别密切关注这些页面的性能是一个好主意。
在Botify中，您可以通过以下方式完成此操作 段。跟踪哪些有效，哪些无法在您的网站上运行也是一个好主意。
例如，如果您看到最深的产品页面获得最低流量，那么这是一个很好的指标，您应该专注于改善这些页面的深度。
问：您如何查看日志文件？
KJ：以原始形式浏览日志文件可能很困难，因此我们建议使用专门针对SEO的日志文件分析器，如 Botify的。
问：谷歌最近没有出来并建议不要使用robots.txt并建议使用meta noindex吗？
KJ：Google将不再支持robots.txt文件中的noindex指令，而是要求您在页面的HTML代码中添加noindex元标记，或者在HTTP请求中返回noindex标头。
这并不意味着robots.txt本身无效，只是noindex不能用作robots.txt文件中的指令。
（视频回顾）企业SEO框架：从爬行到转换
观看网络研讨会演示和问答环节的视频回顾。
或者查看下面的SlideShare。
图片来源
邮寄图片：Botify
加入我们的下一次网络研讨会！
10月9日星期三下午2点参加我们的下一次网络研讨会。 ET并了解内容管理系统（CMS）中的关键功能如何帮助您最大限度地提高网站的下一代搜索引擎优化，移动技术和语音搜索的收入。
