自然語言處理(NLP)是指使用自然語言(如英語)與智能系統進行通信的人工智慧方法。
當你想讓機器人這樣的智能系統按照你的指令執行時,當你想從基於對話的臨牀專家系統中聽到決策時,自然語言的處理是必需的。
NLP的領域涉及到使用人類使用的自然語言使計算機執行有用的任務。NLP系統的輸入和輸出可以是&負;
- Speech
- Written Text
Components of NLP
在本節中,我們將了解NLP的不同組件。NLP有兩個組件。下面對組件進行了描述;
Natural Language Understanding (NLU)
它包括以下任務&負;
將自然語言中給定的輸入映射爲有用的表示。
分析語言的不同方面。
Natural Language Generation (NLG)
它是從某種內在表徵中以自然語言的形式產生有意義的短語和句子的過程。它包括&減;
文本規劃−這包括從知識庫檢索相關內容。
句子規劃包括選擇所需的單詞、形成有意義的短語、設置句子的語氣。
文本實現−這是將句子計劃映射到句子結構中。
Difficulties in NLU
自然語言單元在形式和結構上都非常豐富,但是它是模糊的。可能有不同程度的歧義;
Lexical ambiguity
它處於一個非常原始的層次,比如單詞層次。例如,把「board」這個詞當作名詞或動詞?
Syntax level ambiguity
一個句子可以用不同的方式來分析。例如,「他用紅帽子舉起甲蟲。」&負;他是用帽子舉起甲蟲還是舉起一隻戴紅帽子的甲蟲?
Referential ambiguity
指使用代詞的事物。例如,里瑪去了高麗。她說:「我累了。」&負;到底誰累了?
NLP Terminology
現在讓我們看看NLP術語中的一些重要術語。
音韻學是對聲音進行系統組織的研究。
詞法是從原始有意義的單位構造單詞的研究。
語素是一種語言的基本意義單位。
語法是指將單詞排列成一個句子。它還包括確定單詞在句子和短語中的結構角色。
語義學關注的是單詞的意義以及如何將單詞組合成有意義的短語和句子。
語用學研究在不同的情況下使用和理解句子,以及如何影響句子的解釋。
語篇是指前一句話如何影響下一句話的解釋。
世界知識包括關於世界的一般知識。
Steps in NLP
本節顯示NLP中的不同步驟。
Lexical Analysis
它包括識別和分析單詞的結構。語言詞彙是指語言中詞彙和短語的集合。詞彙分析是把文本分成段落、句子和單詞。
Syntactic Analysis (Parsing)
它包括對句子中的單詞進行語法分析,並以顯示單詞之間關係的方式排列單詞。英語句法分析器拒絕了「學校去男孩」這樣的句子。
Semantic Analysis
它從文本中提取準確的意思或詞典的意思。這篇課文經檢查是否有意義。它是通過映射任務域中的語法結構和對象來完成的。語義分析器忽略了諸如「熱冰淇淋」這樣的句子。
Discourse Integration
任何句子的意思都取決於它前面句子的意思。此外,它還帶來了緊接句的意義。
Pragmatic Analysis
在此期間,所說的話被重新解釋爲它的真正含義。它涉及到語言中那些需要真實世界知識的方面。