[ad_1]
Bing今天透露它一直在使用 伯特 出現在Google之前的搜索結果中,並且也被大規模使用。
Google在搜索結果中使用BERT的原因是 目前正在影響 美國搜索結果的10%以及兩個國家/地區的精選摘要。另一方面,Bing現在在全球範圍內使用BERT。
自4月份以來,Bing就一直在使用BERT,比Google提前了大約半年。在一個 博客文章,Bing詳細介紹了將BERT擴展到全局搜索結果時遇到的挑戰。
Bing承認,在全球範圍內將像BERT這樣的深度學習模型應用於網路搜索可能會非常昂貴。微軟的「 Azure」雲計算服務最終使它成為可能。
最初估計需要數萬台伺服器才能實現,是使用2000多個Azure GPU虛擬機完成的。 Bing從在20個CPU內核上以每個推理77毫秒的速度為三層BERT模型提供服務,轉變為在Azure虛擬機上使用GPU模型在6毫秒內提供64個推理的服務。
從在CPU模型上運行BERT到在GPU模型上運行BERT的轉換導致吞吐量提高800倍:
「通過這些GPU優化,我們能夠在四個地區使用2000多個Azure GPU虛擬機,每秒在全球範圍內提供超過一百萬個BERT推論。 Azure N系列GPU VM對於以高可用性,敏捷性和顯著的成本節省來實現必應的Bing變革性AI工作負載和產品質量改進至關重要,特別是隨著深度學習模型的複雜性不斷增長。
到目前為止,Bing搜索的這些改進已在全球範圍內提供。有關BERT的更多信息,請參見: