你有沒有想過Alexa、ChatGPT或客服聊天機器人是如何理解你的口語或書面評論並作出適當迴應的?NLP和NLU是人工智慧(AI)的兩個子領域,有助於理解和迴應人類語言。這兩種技術對各行業的公司都有好處。
雖然NLP和NLU可能會相互混淆,但它們並不一樣,它們之間的差異使得一種能力在特定的用例中比另一種更重要(見圖1)。因此,NLP和NLU之間的區別可以影響企業應該與哪些技術供應商合作,以開發合適的人工智慧解決方案,實現特定工作的自動化。
為了減少資訊差距,在這篇文章中,我們將介紹:
- NLP的定義和原則。
- NLU的定義和原則。
- 在介紹了NLU和NLP這兩個概念之後,NLU和NLP的主要區別。
- 什麼時候NLU或NLP的能力對於特定的用例變得更加重要。
- 來自5個不同行業的前10個NLP與NLU用例的比較。
圖1:NLP和NLU
自然語言處理(NLP)的定義和原則
自然語言處理(NLP)是人工智慧的一個領域。它使計算機能夠以一種有意義的方式評估和組織非結構化的文字或語音輸入,相當於人類的口頭和書面語言。
當涉及到完成語言翻譯或解釋調查表以確定適合客戶的抵押貸款計劃等任務時,NLP模型受益於機器學習和深度學習技術。
設計有效的NLP模型有賴於一個多學科的團隊,該團隊由以下人員組成:
- 電腦科學家
- 資料科學家
- 和語言學家。
由於人類的語言是複雜的,標準化的輸入對於NLP訓練是必要的。資料預處理被用來建立標準化的輸入,包括以下技術:
- 實體識別(連結)
- 符號化
- 語音標籤等等。
資料預處理的目的是將自然語言內容劃分為更小、更簡單的部分。然後,ML演算法可以檢查這些內容以發現這些較小部分之間的關係、聯絡和背景。考慮圖2作為一個例子。NLP將巴黎與法國、阿肯色州和巴黎-希爾頓聯絡起來,也將法國與法國和法國國家足球隊聯絡起來。因此,NLP模型可以得出結論,”巴黎是法國的首都” 這句話指的是法國的巴黎,而不是巴黎希爾頓或阿肯色州的巴黎。
圖2:資料預處理的例子。
自然語言理解(NLU)的定義和原則
自然語言理解(NLU),是NLP的一個子領域。它是意圖識別背後的技術。NLU模型使用句法和語義分析來理解人類語言的實際含義和情感。因此,NLU模型會做出反應:
- 句子的語法結構。
- 人們的情緒狀況。
- 措辭選擇。
- 諷刺和隱喻的解釋。
- 語氣和口音。
意圖識別和情感分析是NLU的主要成果。因此,它幫助企業瞭解客戶需求,併為他們提供個性化的產品。
NLU和NLP之間的主要區別是什麼?
NLP模型將非結構化的資料轉化為結構化的資料。因此,演算法會搜尋關聯和相關性來推斷句子最可能的含義,而不是理解人類語言的真正含義。
然而,NLU讓計算機理解句子的 “情感” 和 “真實含義”。
作為一個類比,我們可以使用翻譯和轉寫之間的區別:
- 翻譯是NLP模型的工作。他們對輸入的內容進行逐字翻譯。
- 創作是NLU模型所做的事情。重寫輸入文字,使許多語言的使用者能夠完整地理解它。在某些情況下,Transcreation與逐字翻譯完全相反(例如在翻譯諺語時)。
讓我們用一個著名的NLP模型 “谷歌翻譯 “來說明這個例子。如圖3所示,谷歌將土耳其諺語 “Damlaya damlaya göl olur. “翻譯為 “一滴一滴,變成了一個湖”。這是對該句子的精確逐字翻譯。
這句諺語的確切含義是:”隨著時間的推移,即使是很小的一筆錢也會積攢成財富。”或者對於以英語為母語的人來說,”Many a mickle makes a muckle。”。一個訓練有素的NLU模型可能會以這些方式進行翻譯。
圖3:NLP模型逐字翻譯的不充分性。
哪種自然語言能力在什麼時候對企業更關鍵?
如果人們傾向於使用更常規的句子或暴露出一種結構,如多選題,那麼情緒分析和意圖識別對於改善使用者體驗是沒有必要的。因此,一個NLP模型也許能夠實現流程的自動化。
不過,如果使用者的情緒變化很大,或者人工智慧模型接觸到以各種方式解釋同一概念,那麼NLU技能是必要的。
10大NLP與NLU用例
在本節中,我們將介紹排名前10的用例,其中5個與純粹的NLP能力有關,其餘5個需要NLU來協助計算機有效地實現這些用例的自動化。圖4描述了我們的5個用例樣本,在這些用例中,企業應該傾向於NLP而不是NLU,反之亦然。
圖4:NLP與NLU用例比較。
電子商務用例
1. 常問問題(FAQ)聊天機器人
使用常見問題聊天機器人,企業可以減少他們的客戶關懷工作量(見圖5)。從定義上講,FAQ是一個常問問題的集合。因此,它們不需要同時具備出色的NLU技能和意圖識別。
圖5:一個正在執行的FAQ聊天機器人的例子(Source: Haptik)
2. 通過自然語言發現產品
有時人們知道他們在尋找什麼,但不知道貨物的確切名稱。在這種情況下,實體店的銷售人員曾經解決我們的問題,向我們推薦合適的產品。在對話式商務時代,這樣的任務由銷售聊天機器人完成,它能理解使用者的意圖,並通過自然語言幫助客戶發現適合他們的產品(見圖6)。
在數字渠道上模仿銷售人員無疑需要一個訓練有素的NLU。
圖6:通過自然語言發現產品的真例項子(Source: Haptik)
醫療保健行業用例
3. 對病人的診斷
關於人們的習慣和健康問題的調查問卷在進行診斷時很有見地。這種答案是可預測的,所以NLP模型可以解釋它們。因此,它們有助於確定病人的健康問題。
4. 檢測有關健康服務的欺詐性索賠
虛假的病人評論會傷害企業和尋求治療的人。情感分析,即NLU,可以通過識別文字的情感特徵來定位欺詐性評論。例如,誇張的語句和過多的標點符號可能表明有欺詐性的評論。
保險業用例
5. 核保(風險評估)
保險公司使用問卷調查來計算保費成本。例如,客戶想要承保的房屋地址對核保過程有影響,因為它與盜竊風險有關係。NLP驅動的機器可以自動從問卷調查表中提取資料,而風險可以被無縫計算。
6. 索賠處理
當不幸的事件發生時,客戶會提出索賠以尋求賠償。因此,保險公司應該考慮到索賠處理的情感背景。因此,如果保險公司選擇用聊天機器人自動處理索賠,他們必須確定聊天機器人的情感和NLU技能。
銀行業用例
7. 計算抵押貸款利率
確定抵押貸款利率的程式與確定保險風險的程式相當。表格給了銀行有用的資訊。可以使用NLP模型從這些表格中檢索資訊。正如下面的視訊所展示的,抵押貸款聊天機器人也可以收集、驗證和評估資料。
8. 財富管理助理
在數字化之前,人們去金融機構,提供有關他們的資訊:
- 期望的回報。
- 風險態度
- 期望的投資期。
大多數時候,金融顧問試圖理解客戶所尋找的東西,因為客戶不使用投資的技術行話。如今,財富管理聊天機器人也可以做同樣的事情。由於客戶的輸入不是標準化的,聊天機器人需要強大的NLU能力來理解客戶。
酒店&旅遊業用例
9. 自動化客戶服務任務
在預訂酒店之前,客戶希望瞭解更多關於潛在住宿的情況。人們因此開始詢問關於游泳池、晚餐服務、毛巾和其他事情的問題。這些任務可以由NLP驅動的酒店聊天機器人自動完成(見圖7)。
圖7:聊天機器人為酒店自動提供客戶服務任務(Source: Haptik)
10. 個性化的旅遊推薦
通過考慮客戶的習慣和愛好,現在的聊天機器人向客戶推薦度假套餐(見圖8)。由於這不是一個標準化的對話,所以需要NLU的能力。
圖8:聊天機器人推薦定製的假期(Source: Haptik)
注意:對於我們上面所涉及的每一個應用,NLP與NLU的組合都能提供更好的結果。
要了解關於NLP的未來預期,你可以閱讀關於NLP未來的五大預期的文章。
評論留言