Bing现在比Google更大规模地使用BERT

[ad_1]

Bing现在比Google更大规模地使用BERT

Bing今天透露它一直在使用 伯特 出现在Google之前的搜索结果中,并且也被大规模使用。

Google在搜索结果中使用BERT的原因是 目前正在影响 美国搜索结果的10%以及两个国家/地区的精选摘要。另一方面,Bing现在在全球范围内使用BERT。

自4月份以来,Bing就一直在使用BERT,比Google提前了大约半年。在一个 博客文章,Bing详细介绍了将BERT扩展到全局搜索结果时遇到的挑战。

Bing承认,在全球范围内将像BERT这样的深度学习模型应用于网络搜索可能会非常昂贵。微软的“ Azure”云计算服务最终使它成为可能。

最初估计需要数万台服务器才能实现,是使用2000多个Azure GPU虚拟机完成的。 Bing从在20个CPU内核上以每个推理77毫秒的速度为三层BERT模型提供服务,转变为在Azure虚拟机上使用GPU模型在6毫秒内提供64个推理的服务。

从在CPU模型上运行BERT到在GPU模型上运行BERT的转换导致吞吐量提高800倍:

“通过这些GPU优化,我们能够在四个地区使用2000多个Azure GPU虚拟机,每秒在全球范围内提供超过一百万个BERT推论。 Azure N系列GPU VM对于以高可用性,敏捷性和显着的成本节省来实现必应的Bing变革性AI工作负载和产品质量改进至关重要,特别是随着深度学习模型的复杂性不断增长。

Bing现在比Google更大规模地使用BERT“ width =” 760“ height =” 379“ size =”(最大宽度:760px)100vw,760px“ data-srcset =” https://cdn.searchenginejournal.com /wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-768x383.png 768w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5- ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-480x240.png 480w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-680x339.png 680w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132.png 1024w“ data-src =” https://cdn.searchenginejournal。 com / wp-content / uploads / 2019/11 / 64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-768x383.png

到目前为止,Bing搜索的这些改进已在全球范围内提供。有关BERT的更多信息,请参见:

相关文章