Bing現在比Google更大規模地使用BERT

[ad_1]

Bing現在比Google更大規模地使用BERT

Bing今天透露它一直在使用 伯特 出現在Google之前的搜索結果中,並且也被大規模使用。

Google在搜索結果中使用BERT的原因是 目前正在影響 美國搜索結果的10%以及兩個國家/地區的精選摘要。另一方面,Bing現在在全球範圍內使用BERT。

自4月份以來,Bing就一直在使用BERT,比Google提前了大約半年。在一個 博客文章,Bing詳細介紹了將BERT擴展到全局搜索結果時遇到的挑戰。

Bing承認,在全球範圍內將像BERT這樣的深度學習模型應用於網路搜索可能會非常昂貴。微軟的「 Azure」雲計算服務最終使它成為可能。

最初估計需要數萬台伺服器才能實現,是使用2000多個Azure GPU虛擬機完成的。 Bing從在20個CPU內核上以每個推理77毫秒的速度為三層BERT模型提供服務,轉變為在Azure虛擬機上使用GPU模型在6毫秒內提供64個推理的服務。

從在CPU模型上運行BERT到在GPU模型上運行BERT的轉換導致吞吐量提高800倍:

「通過這些GPU優化,我們能夠在四個地區使用2000多個Azure GPU虛擬機,每秒在全球範圍內提供超過一百萬個BERT推論。 Azure N系列GPU VM對於以高可用性,敏捷性和顯著的成本節省來實現必應的Bing變革性AI工作負載和產品質量改進至關重要,特別是隨著深度學習模型的複雜性不斷增長。

Bing現在比Google更大規模地使用BERT「 width =」 760「 height =」 379「 size =」(最大寬度:760px)100vw,760px「 data-srcset =」 https://cdn.searchenginejournal.com /wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-768x383.png 768w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5- ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-480x240.png 480w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-680x339.png 680w,https://cdn.searchenginejournal.com/wp-content/uploads/2019/11/64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132.png 1024w「 data-src =」 https://cdn.searchenginejournal。 com / wp-content / uploads / 2019/11 / 64488da5-ccc1-4ca6-ac22-90f71b7464f9-5dd464dcf0132-768x383.png

到目前為止,Bing搜索的這些改進已在全球範圍內提供。有關BERT的更多信息,請參見:

相關文章