NLP完整指南：它是如何工作的及最主要的使用案例

WBOLT_COM 4 月 23, 2023 883 0

NLP完整指南

自然语言处理（NLP）是应用程序自动纠正我们的查询或完成我们的一些句子的原因，它是对话式人工智能应用程序的核心，如聊天机器人、虚拟助手和谷歌的新LaMDA。

2018年，全球自然语言处理（NLP）市场估计约为50亿美元，预计2025年将达到约430亿美元，收入增长近8.5倍。这种增长是由深度学习的持续发展，以及当今几乎每个行业的众多应用和用例所引领的。

在这篇文章中，我们为商业专业人士提供了一份完整的NLP指南，帮助他们了解技术，并通过强调使用案例指出一些可能的投资机会。

自然语言处理（NLP）是一种人工智能技术，它使机器能够理解文本或语音形式的人类语音，以便与人类交流我们自己的自然语言。

NLP的第一块基石是由阿兰-图灵在20世纪50年代确定的，他提出，如果一台机器能够成为与人类对话的一部分，它将被认为是一台 “有思想 “的机器。

不久之后，不同的应用出现了，如1966年的ELIZA，它是第一个使用模式匹配和反应选择模仿心理治疗师的医疗聊天机器人。

后来在1971年，美国国防部高级研究计划局（DARPA）将NLP用于Robust Automatic Transcription of Speech（RATS），以执行与通过极其嘈杂和/或高度扭曲的通信渠道收到的含语音信号有关的任务。

像这样的应用激发了语言学和计算机科学领域的合作，创造了我们今天所知的人工智能中的自然语言处理子领域。

一般来说，NLP技术包括4个主要步骤：

根据NLP的应用，输出将是一个翻译或完成一个句子，一个语法纠正，或基于规则或训练数据生成的反应。

在现代NLP应用中，深度学习在过去几年中得到了广泛的应用。例如，谷歌翻译在2016年采用了著名的深度学习，导致其结果的准确性有了很大进步。

NLP使计算机能够理解和生成人类的语音，因此它有许多应用。以下是自然语言处理的一些顶级用例：

最早的语法检查工具（如Writer’s Workbench）旨在检测标点符号错误和风格错误。NLP和机器学习的发展使人们能够更准确地检测语法错误，如句子结构、拼写、句法、标点符号和语义错误。

语法检查是通过3种方法完成的：

现代翻译应用可以利用基于规则和ML技术。基于规则的技术使字与字之间的翻译很像字典。

另一方面，ML通过理解输入句子的整体含义，增强句子或段落的整体翻译，生成字对字的翻译，并根据训练数据调整输出以产生准确的翻译。

聊天机器人是一种软件，它使人类能够与机器互动，提出问题，并以自然对话的方式获得回应。

聊天机器人依靠NLP和意图识别来理解用户的查询。根据聊天机器人的类型（如基于规则的、基于人工智能的、混合型的），它们会根据理解的查询来制定答案。

在5年的时间里，人们对聊天机器人的兴趣几乎增加了5倍，由于其众多的好处和在几乎所有行业的多样化应用，如酒店、银行、房地产和零售业，它们的受欢迎程度一直在上升。

聊天机器人还可以整合其他人工智能技术，如分析和观察用户讲话的模式，以及图像或地图等非对话功能，以提高用户体验。

在谷歌搜索引擎中句子补全

我们日常使用的最流行的NLP应用之一是句子完成。这种应用将NLP与一些机器学习算法结合起来，如：：

递归神经网络（RNN）： RNN算法通常用于深度学习应用中。他们模拟人脑神经元连接的活动，这些神经元从复发性事件中学习。递归神经网络识别数据的顺序和时间特征，并使用模式和反馈回路，以预测一个词或句子的下一个可能情况。
潜在语义分析（LSA）： LSA算法依赖于分析语音令牌之间的关系。该算法将把一个句子或段落分成若干标记，在它们之间建立一个关系矩阵，以了解标记相互之间的出现模式，并根据分布假设预测下一个句子，该假设指出： “意义相近的词会出现在类似的文本中”。

更简单的句子完成方法将依赖于有监督的机器学习算法和大量的训练数据集。然而，这些算法将完全基于训练数据来预测完成词，而这些数据可能是有偏见的、不完整的或特定主题的。

最近的一个例子是OpenAI建立的GPT模型，它能够创造出类似人类的文本完成，尽管没有使用人类语音中的典型逻辑。