联系我们

AI 101.

什么是nlp(自然语言处理)?

mm

更新

 on

什么是自然语言处理(NLP)?

自然语言处理(NLP)是技术和工具的研究和应用,使计算机能够处理,分析,解释和对人类语言的原因。 NLP是一个跨学科领域,它结合了在语言学和计算机科学等领域中建立的技术。这些技术与AI音乐会使用,以创建聊天助理和亚马逊的Alexa等聊天和数字助理。

让我们花一些时间来探索自然语言处理背后的理由,一些在NLP中使用的技术,以及NLP的一些常用用例。

为什么自然语言处理(NLP)问题

为了让计算机解释人类语言,必须将它们转换成计算机可以操纵的形式。但是,这并不像将文本数据转换为数字一样简单。为了从人类语言中派生意义,必须从构成文本文档的数百或数千个单词中提取模式。这不是一件简单的任务。很少有艰难而快速的规则可以应用于人类语言的解释。例如,根据上下文,完全相同的单词可以意味着不同的事物。人类的语言是一个复杂且通常含糊不清的事情,并且声明可以用诚意或讽刺说出。

尽管如此,有一些一般指导方针可以在解释单词和字符时使用,例如用于表示项目是复数的字符“s”。这些一般指南必须彼此协会使用,以从文本中提取意义,以创建一个功能机器学习算法可以解释。

自然语言处理涉及应用能够采取的各种算法非结构化数据并将其转换为结构化数据。如果以错误的方式应用这些算法,则计算机将经常无法从文本中获得正确的含义。这通常可以在语言之间的翻译中看到,其中句子的精确含义往往丢失。虽然在过去的几年里,当机器翻译得到了改进,但机器翻译错误仍然经常发生。

自然语言处理(NLP)技术

Photo: Tamur via WikiMedia Commons, Public Domain (//commons.wikimedia.org/wiki/File:ParseTree.svg)

许多人中很多技术用于自然语言处理中的使用可以放在两类中的一个:语法或语义中。语法技术是处理单词的排序的技术,而语义技术是涉及单词含义的技术。

语法NLP技术

语法的例子包括:

  • lemmatization.
  • 形态分割
  • 分词标记
  • 解析
  • 句子突破
  • 单词分割

lemmatization.指蒸馏到单个形式的单词的不同拐点。 lemmatization采取像时态和复数这样的东西,简化它们,例如,“脚”可能变得“脚”,“条纹”可能变得“条纹”。这种简化的单词形式使算法更容易解释文档中的单词。

形态分割是将话语分成语素或单词的基本单位的过程。这些单位是免费的东西语素(可以单独站在单词)和前缀或后缀。

分词标记只是识别输入文档中每个单词的哪一部分的过程。

解析指分析句子中的所有单词并将它们与其正式语法标签相关联或为所有单词进行语法分析。

句子破碎,或句子边界分割,指决定句子开始和结束的地方。

是将单词减少到单词的根形式的过程。例如,连接,连接和连接都将被窃取为“连接”。

单词分割是将大块文本分成小单位的过程,可以是单词或茎/偏置的单位。

语义NLP技术

语义NLP技术包括以下技术:

  • 命名实体认可
  • 自然语言生成
  • 字感消了消亡

命名实体认可涉及标记可以放入多个不同预设组中的某个文本部分。预定义的类别包括日期,城市,地方,公司和个人之类的东西。

自然语言生成是使用数据库将结构化数据转换为自然语言的过程。例如,有关天气的统计数据,如温度和风速,可以通过自然语言概括。

字声歧义是基于这些上下文在文本中为文字分配含义的过程的过程。

NLP的深层学习模型

常规多层erceptrons无法处理顺序数据的解释,其中信息的顺序很重要。为了处理顺序数据中的顺序的重要性,使用了一种类型的神经网络,这些内网络将从培训中的前一步步骤中保留信息。

经常性神经网络是神经网络的类型循环以前的时间步骤,在计算当前时间的重量时考虑它们。本质上, rnn. 在前向训练通过期间使用的三个参数:基于先前隐藏状态的矩阵,基于电流输入的矩阵,以及在隐藏状态和输出之间的矩阵。因为RNN可以考虑到以前的时间步来的信息,因为在解释一个单词的含义时,他们可以通过在句子中提前的单词来提取文本数据的相关模式。

另一种类型深度学习用于处理文本数据的架构是长期内存(LSTM)网络. LSTM. 网络与结构中的RNNS类似,但由于其架构的一些差异,它们往往比RNN更好地表现更好。他们避免了经常发生在使用rnns时发生的特定问题爆炸渐变问题。

这些深度神经网络可以是单向的或双向的。双向网络能够在当前单词考虑到之前的单词,但是之后的单词。虽然这导致更高的准确性,但它更加计算地昂贵。

使用自然语言处理案例(NLP)

Photo: mohammed_hassan via Pixabay, Pixabay License (//pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

由于自然语言处理涉及分析和操纵人类语言,因此它具有令人难以置信的广泛应用。 NLP的可能申请包括聊天,数字助理,情感分析,文件组织,人才招聘和医疗保健。

夏隆的Alexa和Google助手等聊天和数字助理是使用NLP解释和响应声音命令的语音识别和综合平台的示例。这些数字助理帮助人们拥有各种各样的任务,让他们将一些认知任务卸载到另一个设备,并为其他更重要的事情释放他们的一些脑电站。我们可以让我们的数字助理能够做到这一点,而不是仰望到银行的最佳路线。

情绪分析是使用NLP技术来研究人们对现象的反应和感受,通过他们使用语言来传达。捕捉声明的情绪,就像解释产品的审查是好的还是坏的,可以提供有关如何收到产品的大量信息。

自动组织文本文档是NLP的另一个应用程序。像谷歌和雅虎这样的公司使用NLP算法来分类电子邮件文件,将它们放在适当的垃圾箱(如“社交”或“促销”)中。他们还使用这些技术禁烟并防止它到达收件箱。

团体还开发了用于识别潜在工作雇用的NLP技术,根据相关技能找到它们。招聘经理还使用NLP技术来帮助他们排序申请人列表。

NLP技术也用于增强医疗保健。 NLP可用于改善疾病的检测。可以分析健康记录和由NLP算法提取的症状,然后可以用于建议可能的诊断。其中一个例子是亚马逊的理解医疗平台,分析了健康记录和提取疾病和治疗。 NLP的医疗保健应用也延伸到心理健康。有应用程序如woebo.T,通过基于认知行为治疗的各种焦虑管理技术谈论用户。