使用空白紙測試來優化自然語言處理

[ad_1]

如果您遞給某人一張空白紙,並且只寫了該頁面的標題,那麼他們會明白標題的含義嗎?他們對實際文件可能有一個清晰的想法嗎?如果是這樣,那麼恭喜您!您剛剛通過了頁面標題的空白紙測試,因為您的標題具有描述性。

空白紙測試(BSoPT) 這是伊恩·盧里(Ian Lurie)多年來談論過的一個主意, 最近在他的新網站上。這是一項測試,以查看您所寫的內容是否對從未接觸過您的品牌或內容的人有意義。用伊恩的話說:「寫在白紙上的這段文字對陌生人有意義嗎?」空白紙測試是關於沒有上下文的清晰度。

但是,如果我們是在一台機器上而不是一個人上執行BSoPT,該怎麼辦?我們的思想實驗是否仍然適用?我認同。機器無法讀取,即使是Google和Bing等複雜的機器也無法讀取。他們只能猜測我們內容的含義,這使測試特別相關。

我有BSoPT的替代版本,但對於機器來說:如果一台機器可以看到的是文檔中出現的單詞列表以及出現的頻率,它是否可以合理地猜測文檔的含義?

空白紙測試詞頻

如果您遞給某人一張空白紙,並且唯一寫在這張字詞和頻率表上的東西,他們能猜出文章的意思嗎?

關於磨刀的文章是一個很好的猜測。我從該詞頻表中摘錄的文章是磨刀的入門指南。

如果表格中出現「步驟」和「如何」一詞怎麼辦?讀書的人會更自信這篇文章是關於磨刀還是更少?他們能否說出這篇文章是關於削尖廚房刀還是小刀?

如果我們不能根據文章使用的單詞對文章的含義有一個很好的了解,那麼它將使BSoPT的單詞頻率失敗。

我們仍然可以將字頻用於BERT嗎?

搜索引擎採用的早期自然語言處理(NLP)方法使用詞頻和詞共現的統計分析來確定頁面的含義。他們忽略了內容中單詞的順序和詞性,基本上將我們的頁面視為單詞袋。

我們用於優化這種NLP的工具將我們內容的詞頻與競爭對手進行了比較,並告訴我們詞使用的差距在哪裡。假設,如果將這些詞添加到內容中,我們的排名將會更高,或者至少可以幫助搜索引擎更好地理解我們的內容。

這些工具仍然存在:Market Muse,SEMRush,seobility,Ryte等具有某些詞頻或TD-IDF差距分析功能。我一直在使用名為Online Text Comparator的免費詞頻工具,該工具效果很好。現在,搜索引擎已經使用BERT等NLP方法進行了改進,它們仍然有用嗎?我想是的,但它並不像增加單詞=更好排名那樣簡單。

BERT複雜得多 而不是言行一致的方法。 BERT會查看單詞順序,詞性以及內容中出現的所有實體。它功能強大,可以接受培訓,以完成許多事情,包括問題解答和命名實體識別-比基本詞頻要先進得多。

但是,BERT仍需要查看頁面上存在的單詞才能起作用,單詞頻率是該單詞的基本摘要。現在,單詞的位置和詞性更加重要。我們不能只在頁面上的差距分析中撒上我們發現的單詞。

使用詞頻工具增強內容

為了使我們的內容對機器毫無歧義,我們需要使它對用戶毫無歧義。減少我們的寫作中的歧義是關於選擇與我們正在撰寫的主題相關的單詞。如果我們的寫作中使用了大量的一般動詞,代詞和非主題形容詞,那麼我們的內容不僅平淡無奇,而且很難理解。

考慮以下非特定語言的極端示例:

「找到合適的廚師刀的訣竅是要在功能,品質和價格之間找到平衡。它應該由足夠堅固的金屬製成,以保持其邊緣相當長的時間。您應該擁有舒適的手柄,不會讓您感到疲勞。您也不需要花費很多。家庭廚師不需要花350美元的日本刀。」

該副本不是很好。它看起來幾乎是機器生成的。我無法想像這樣寫的全文會通過BSoPT的詞頻。

移除了一些停用詞後,單詞頻率表如下所示:

現在,假設我們在幾個頁面上使用了詞頻工具,這些詞在「如何挑選廚師的刀」方面排名很高,並且發現這些詞類的使用頻率很高:

實體:刀片,鋼,疲勞,大馬士革鋼,三德,順(品牌)
動詞:抓地力,切碎
形容詞:完美,堅硬,高碳

將這些詞合併到我們的副本中會產生明顯更好的文本:

「找到完美廚師刀的訣竅是在功能,品質和價格之間取得適當的平衡。刀片應由足夠堅硬的鋼製成,以在重複使用後保持鋒利的邊緣。您應該具有符合人體工程學的手柄,可以舒適地握住手柄,以防止疲勞加劇切碎。您也不需要花費很多。家庭廚師不需要順德提供的$ 350的高碳大馬士革鋼santoku。」

升級後的文本將更易於機器分類,並更好地為用戶閱讀。使用與您的主題相關的字詞也很不錯。

展望NLP的未來

是否通過針對BERT或其他NLP演算法優化的空白紙測試來改善我們的內容?不,我不這麼認為。我認為我們可以添加一些特殊的詞來利用BERT神奇地排名更高。我認為這是確保用戶和機器都能清楚理解我們的內容的一種方法。

我預計我們已經接近將NLP優化的想法視為荒謬的地步。也許在十年之內,由於技術的進步,為用戶寫作和為機器寫作將是一回事。但是即使那樣,我們仍然必須確保我們的內容有意義。而且空白紙測試仍然是一個很好的起點。

相關文章