[ad_1]
Bing今天透露它一直在使用 伯特 出现在Google之前的搜索结果中,并且也被大规模使用。
Google在搜索结果中使用BERT的原因是 目前正在影响 美国搜索结果的10%以及两个国家/地区的精选摘要。另一方面,Bing现在在全球范围内使用BERT。
自4月份以来,Bing就一直在使用BERT,比Google提前了大约半年。在一个 博客文章,Bing详细介绍了将BERT扩展到全局搜索结果时遇到的挑战。
Bing承认,在全球范围内将像BERT这样的深度学习模型应用于网络搜索可能会非常昂贵。微软的“ Azure”云计算服务最终使它成为可能。
最初估计需要数万台服务器才能实现,是使用2000多个Azure GPU虚拟机完成的。 Bing从在20个CPU内核上以每个推理77毫秒的速度为三层BERT模型提供服务,转变为在Azure虚拟机上使用GPU模型在6毫秒内提供64个推理的服务。
从在CPU模型上运行BERT到在GPU模型上运行BERT的转换导致吞吐量提高800倍:
“通过这些GPU优化,我们能够在四个地区使用2000多个Azure GPU虚拟机,每秒在全球范围内提供超过一百万个BERT推论。 Azure N系列GPU VM对于以高可用性,敏捷性和显着的成本节省来实现必应的Bing变革性AI工作负载和产品质量改进至关重要,特别是随着深度学习模型的复杂性不断增长。
到目前为止,Bing搜索的这些改进已在全球范围内提供。有关BERT的更多信息,请参见: