利（lì）用NPL可与人工智能工具进行交（jiāo）流

现如今（jīn），在更多情（qíng）况下，我（wǒ）们是以比特（tè）和（hé）字节为（wéi）生，而不是依靠交换（huàn）情（qíng）感。我们使用一种称之（zhī）为计算机的超级智能机器在互联网上进（jìn）行交易和（hé）沟（gōu）通。因（yīn）此（cǐ），我们觉得有必要让机器明白我们在说话时是如何对其进行理（lǐ）解的，并且试图用人工智（zhì）能，一（yī）种称之为NLP——自然语言处理技术为（wéi）它们提供语言。作为一种研究结（jié）果，聊天机器人（rén）正在成为一种可（kě）靠的（de）聊天工具，使用这种非人（rén）为依赖的智能（néng）工具与人类（lèi）进（jìn）行交流（liú）。

我（wǒ）强烈的感受到：

直到（dào）我们的机器（qì）学会了（le）解（jiě）行为和情绪，数据科学家和工（gōng）程师的工作才完成了（le）一半。与深（shēn）度学（xué）习（ML学科领域）融合的NLP将对这种计算机（jī）语言的使用起到关键作用（yòng）。

利用自然语言处理NPL可以使（shǐ）人（rén）工智能工具（jù）与人类进行（háng）交流

什么是NLP

这（zhè）是一（yī）种（zhǒng）人工智能（néng）方法，给定机器一些人类语言从（cóng）而（ér）使（shǐ）得它们能够（gòu）与（yǔ）人类（lèi）进行沟通交（jiāo）流（liú）。它涉及使用NLP技术（shù）对书面语言进行智能分析，以（yǐ）获取对一组（zǔ）文本数据的见解，如：

1.情绪分析

2.信息（xī）提取和检索

3.智能搜索等

它是人工智能和计算语言学的交汇点，能够处理机（jī）器和人类自然（rán）语言之（zhī）间的交互，即计算机需要对其进行分析、理解、改（gǎi）变（biàn）或生成自然语言。NLP帮助计算机（jī）机器以各种形式使用自然人（rén）类语（yǔ）言进行交流，包（bāo）括但不限于语（yǔ）音、印刷、写作和签（qiān）名。

NLP机器学（xué）习和深度（dù）学习：它（tā）们是如（rú）何连接的（de）

利用（yòng）自然语言处（chù）理NPL可以使人工智（zhì）能工具与人（rén）类进行（háng）交流

NLP与机器学习和深度学习密切相关，所有这些（xiē）都是人工智能领域的分支，如（rú）下图所示（shì）：它是一个（gè）致力（lì）于使机器智能（néng）化的计（jì）算机科学领（lǐng）域。深度学习是一（yī）种流行的机器（qì）学习技术之一（yī），如（rú）回归（guī），K-means等。

机器学习的（de）类型很多，像无监督机器学习这样的经常用于NLP技（jì）术（shù）中，如LDA（潜在狄利克雷分（fèn）布，一种主题模（mó）型算法）。

为了能够执行（háng）任何一个NLP，我们（men）需要深入理解人类使如何（hé）处理语言的（de）情感和（hé）分（fèn）析方（fāng）面。还有（yǒu）各种各样像社（shè）交媒体这（zhè）样（yàng）的语言数据源，人们直接或间（jiān）接地分享他们（men）感受到的内（nèi）容，而这必须通（tōng）过使用NLP的机（jī）器进行智能分析。NLP机器需要建立一个人类推理系统，借助（zhù）ML技术，它们可以（yǐ）自动执（zhí）行NLP过程并对其进行扩展。

简而言之，“深度（dù）学习（xí）与自然（rán）语言处理（lǐ）”是相互联系、相互依存的（de），以构（gòu）建一个能够像（xiàng）人（rén）类一样思考、说（shuō）话（huà）和（hé）行动（dòng）的智能计算机。

Meltwater Group的NLP专家（jiā）John Rehling在《自然语（yǔ）言处理是如何帮助揭示社（shè）交媒（méi）体情绪》一文中说，

“通过分析语言（yán）的含义，NLP系统扮演着非常重（chóng）要的（de）角色，如纠正语法，将语音转换为文本，以及（jí）在多（duō）语（yǔ）言之间自动翻译。”

NLP如何工（gōng）作

理解（jiě）NLP的工作原理是非常重要（yào）的，因为（wéi）这样的话，我们就可以将NLP作为（wéi）一（yī）个整体来理解。NLP一般有两个（gè）主要组成部（bù）分（fèn）：

1.NLU：自然语言理解

2.NLG：自然语言生成

让我们深入理解NLU

自（zì）然语言理解：它（tā）涉及的是一（yī）种方法论（lùn），试（shì）图（tú）了（le）解如何对（duì）馈送给计算机（jī）的自然（rán）语言赋（fù）予一定的（de）相关意义。

在开始时，计算机获得自然语言的（de）输入（自（zì）然语言可以是任何语言，它们通过使用（yòng）和（hé）重（chóng）复在人类中自然进化，而不是有意识的计划或预谋，自然（rán）语言可（kě）以（yǐ）采（cǎi）用不同的形式，例如语（yǔ）音或签名）。

计算机之（zhī）后将它们转换成人工语言，如语音（yīn）识别和/或语（yǔ）音转换文本。在这（zhè）里我们把数据（jù）转换成一个（gè）文本形式， NLU过程来理解其中的含义（yì）。

HMM：隐（yǐn）马尔可夫（fū）模型（NLU示例）

利（lì）用自（zì）然语言处理NPL可以使（shǐ）人工（gōng）智能工（gōng）具（jù）与人类进行（háng）交流

它是一种统计语（yǔ）音（yīn）识别模型，它可以在预先构（gòu）建（jiàn）的数学技术的帮助下，将你（nǐ）的语音转（zhuǎn）换成文本（běn），并试图推断出你所（suǒ）说的（de）语言。

它试图理解你所（suǒ）说的，通过将语（yǔ）音数据分解（jiě）成一小段特定的时间段，大多数情况下时间是20-20 ms。这些数据集（jí）将进（jìn）一步与预馈语音进行比较，从而（ér）进一步解读你在每个语音（yīn）单位中所说的内（nèi）容。这里的目的是找到音素（一个（gè）最小的语音单（dān）位）。然后，机器对一系列这样的（de）音（yīn）素进行观察，并统（tǒng）计了最可能说出的单词和句子。

不仅如此，NLU会深（shēn）刻理（lǐ）解每（měi）个（gè）单词，试图理解它是一个名（míng）词还是动词，什么（me）是时态（过（guò）去或未（wèi）来）等。这个过程被（bèi）定义为POS：词性标注（zhù）部分（Part Of Speech Tagging）。NLP具有内置的（de）词（cí）典和（hé）一套与语法预编码相关的协议，这些协议（yì）被（bèi）预编码（mǎ）到它们的系统中，并在处理自（zì）然语言数据集时使用（yòng）它，从（cóng）而在NLP系统处理（lǐ）人类（lèi）语音时，编（biān）译所（suǒ）说的内容。

NLP系统也（yě）有一个词典（词汇表）和一套（tào）编码（mǎ）到系统中的语法（fǎ）规则。现（xiàn）代NLP算法使（shǐ）用统计机器，学习将这些规则（zé）应用（yòng）于自（zì）然语言，并（bìng）推断所说（shuō）话语背后最可能的（de）含义。在考虑诸（zhū）如具（jù）有多个含义的词语（多义词）或具有相似含义的词语（同义词）时，存在一些挑（tiāo）战，但软件（jiàn）开发者（zhě）在他（tā）们（men）的NLU系统中建立了自（zì）己的规（guī）则，可以（yǐ）通（tōng）过适当的训练和学习来处理（lǐ）这类问题。

自然语言生成：

与第（dì）一（yī）阶段（NLU做（zuò）了大量的努（nǔ）力以理解（jiě）人类的话语）相比，NLG可以很（hěn）容易的进行翻译工（gōng）作，即将计算机（jī）的人工语言翻译为有意义（yì）的文本，并可以通过文（wén）字转语音（tex-to-speech）技术将其转化为（wéi）可听语（yǔ）音。文本转语音（（tex-to-speech））技术通过（guò）韵律（lǜ）模型（prosody model）来分析文本，从而确定（dìng）语言（yán）的（de）断句（jù）、长（zhǎng）短和音调。然（rán）后（hòu），利用语（yǔ）音数据（jù）库（kù），将记录的所有音（yīn）素汇集在一起，形成（chéng）一个连贯的（de）语音串。

简而言之，NLP采用NLU和NLG来处理人类自然语言，尤其是处理语音识别领域的人类（lèi）自（zì）然语言，并试图将传递（dì）字（zì）符串（chuàn）或可听语言作为输（shū）出，来（lái）理解、编译并推断所说的内容。

NLP在现代（dài）语（yǔ）境中的应用：

在这个处于数字革命（mìng）的电脑时代中，大部（bù）分任务需要由人类利用链（liàn）接物联网的（de）机器（qì）来完成（chéng）。NLP在（zài）为媒体、出版、广（guǎng）告、医疗、银（yín）行和保险等行（háng）业领域（yù）建（jiàn）立（lì）强大的软件工具方面，发挥了重要作（zuò）用（yòng），从而帮助他们（men）高效快捷地运作。

NLP的（de）一些（xiē）现代用法：

1.聊（liáo）天机（jī）器人

这是一个被称（chēng）为机器人的成（chéng）熟软件，它可以处理任何场景的人物对话。api.ai、微（wēi）软语（yǔ）音（yīn）理解智能服（fú）务（LUIS）等一（yī）些热门的（de）NLP和机（jī）器学习平台，可用于研（yán）发你的商（shāng）业聊天（tiān）机器（qì）人。

2.垃圾邮件过滤

你们中（zhōng）的大多数人一定对垃圾邮件（jiàn）并不（bú）陌生。Google使用基（jī）于NLP的（de）技术来保障（zhàng）你的收件箱清洁、无垃（lā）圾邮（yóu）件。贝叶斯（sī）垃圾（jī）邮件过滤（Bayesian spam filtering）是一（yī）种备受瞩（zhǔ）目的技术，它是一（yī）种统（tǒng）计技术，基于此（cǐ），电子邮件中词语的审核（hé）通过率根据（jù）其在垃圾和非垃（lā）圾（jī）邮件语料库中的典（diǎn）型事（shì）例来确定。

3.机器翻译

NLP被越来（lái）越多的应用于机（jī）器翻译程序当中（zhōng），这使得（dé）一种语言被自动翻译成另（lìng）一种（zhǒng）语言，谷（gǔ）歌是一（yī）个将你的（de）文本翻译为所需语言的（de）先驱者。

机器翻译（yì）技术所面临的挑（tiāo）战不（bú）在（zài）于翻译单词，而（ér）在于保（bǎo）留句子的含义，这是（shì）一个复杂的（de）技术问题，也（yě）是NLP的核心。

4.命名实体提取（Named entity extraction）

它用于（yú）从给定的项目集合（hé）中分离出具有相似性质和属性的项目。例如名字、姓氏、年龄、地理位置、地址、电话号码、电子邮件地址和公司名称等等。命（mìng）名实体提取（亦称命名实体识别）使挖掘数据变得更加容易。

5.自动汇总

自然语言处理可（kě）用于从大段文本中（zhōng）提取可读摘（zhāi）要（yào）。例如，我们可以自动总（zǒng）结出一份长篇学（xué）术文（wén）章的简短摘要。

接下来我们（men）将深（shēn）入介（jiè）绍一些（xiē）NLP的技（jì）术细节。

当自然界与人工（gōng）相（xiàng）逢的时（shí）候，机器就像是一个真（zhēn）正具有生命力的人类一（yī）样（yàng）进入了生（shēng）活中。

NLP技术术语

NLP术语

•语（yǔ）音体系——关于系统性地组（zǔ）织语音的（de）研究。

•形态学——这（zhè）是一个从基本（běn）意（yì）义单位中进行单词构建（jiàn）的研（yán）究。

•语素——语言中（zhōng）意（yì）义的（de）基本单位。

•语法——它是指单词经过组合排列构成句子，它还涉及在句子和（hé）短语中确定（dìng）单词结构（gòu）的（de）作用（yòng）。

•语义——它涉（shè）及的是单（dān）词的含（hán）义，以及该如何将单词组合成有意义的短（duǎn）语和（hé）句子（zǐ）。

•语用学——它涉（shè）及的是在（zài）不同情（qíng）况下使用（yòng）和理解（jiě）句子以及（jí）对句子的解释（shì）是（shì）如何（hé）受到影响的。

•话语——它指（zhǐ）的是前面的句（jù）子如何影响对（duì）于下一句的解释的。

•常识性知识——它涉（shè）及的是（shì）对于世界的一（yī）般性认（rèn）识。

自（zì）然语言（yán）处理（lǐ）库（kù）（对于开发者而言）

NLP库：

有许多通（tōng）用的第三方开源（yuán）库，开发人员（yuán）可（kě）以使用它们来构建基于NLP的Projects Viz .。

•自（zì）然语（yǔ）言工具（jù）包（bāo）（NLTK）

•Apache OpenNLP

•斯坦福大学NLP套（tào）件

•Gate NLP库（kù）

自（zì）然语（yǔ）言（yán）工（gōng）具包（bāo）（NLTK）是最通用的（de）自然语言（yán）处理（NLP）库。它是用（yòng）Python编（biān）写的，背后有一（yī）个很大的社区（qū）。

NLP实施（shī）所涉及的（de）步骤（zhòu）：

它（tā）涵盖（gài）了（le）5个（gè）主（zhǔ）要步骤：

•词法分析——它对给定单词的结构进行识别和分析，其中整个（gè）文本数据（jù）块在（zài）词法分析中被分（fèn）解成段落（luò）、句子（zǐ）和词汇。

•解析（句法分（fèn）析）——它涉及（jí）以一种显示单（dān）词（cí）之间的关系的（de）方式对分析句子中（zhōng）的单词（cí）进行语法和单词（cí）排列分析（xī），在（zài）这个阶段，任何不符（fú）合语法正（zhèng）确的（de）句子都（dōu）被拒绝，例如（rú），“building lives in sita”将（jiāng）不会被语（yǔ）法分析器所接受

•语义分析——对给（gěi）定的（de）文本进（jìn）行分（fèn）析以从（cóng）中提取意义。它通（tōng）过对任务域中的（de）语法结构和目标进行（háng）分析来完成。语义分析器拒绝（jué）不相关的句子，如“hot banana”。

•话语整合——正（zhèng）如我们（men）所知，每个（gè）句子都与前（qián）一（yī）句话相互联系（xì），基于倒数第二句的意义而言，任何句子都变得有（yǒu）意义。同样（yàng），它也（yě）使（shǐ）得后一句话（huà）变得（dé）有意义。

•语用分（fèn）析（xī）——在此期间（jiān），常识性知识被（bèi）重新定（dìng）义（yì）了，解释了它们（men）的真（zhēn）实意（yì）义到底是什（shí）么，它（tā）涉（shè）及到那（nà）些需要（yào）常识性（xìng）知识的语言方面。

用图片来解读（dú）NLP（点击图片（piàn）放大）：

NLP应用（yòng）程序：

1.光学字符识别

2.语音识别（bié）

3.机器翻译

4.自然语言生成

5.情绪分析

6.语义搜索（suǒ）

7.自然语言编程

8.情感计（jì）算（suàn）

9.开发聊天机器（qì）人