NLP | NLP基础

2021-02-17
590字
2分钟
NLP

NLP(自然语言处理)基础

NLP基础

NLP的基础分类

  • 自然语言理解
    • 音系学:指代语言中发音的系统化组织。
    • 词态学:研究单词构成以及相互之间的关系。
    • 句法学:给定文本的哪部分是语法正确的。
    • 语意句法学:给定文本的含义是什么?
    • 语用学:文本的目的是什么?
  • 自然语言生成
    • 自然语言文本(NLG)

NLP的应用

  • 机器翻译:计算机具备将一种语言翻译成另一种语言的能力
  • 情感分析:计算机能够判断用户评论是否积极。
  • 智能问答:计算机能够正确回答输入的问题。
  • 文摘生成:计算机能够准确归纳、总结并产生文本摘要。
  • 文本分类:计算机能够采集各种文章,进行主题分析,从而进行自动分类。
  • 輿论分析:计算机能够判断目前舆论的导向。
  • 知识图谱:知识点相互连接而成的语义网络。

NLP的基本术语

  1. 分词(segment):中文较难,常用基于字典的最长串匹配
  2. 词性标注(part-of-speech tagging)
  3. 命名实体识别(NER,Named Entity Recognition):提取识别特定类别的实体,如人名、地名、专有名词
  4. 句法分析(syntax parsing):理清各成分的关系
  5. 指代消解(anaphora resolution):对代词的转换消解
  6. 情感识别(emotion recognition):正负中性的分类
  7. 纠错( correction)
  8. 问答系统(QA system)

NLP的知识结构

句法语义分析、关键词抽取、文本挖掘、机器翻译、信息检索、问答系统、对话系统

Avatar
Zhang.Mathias 巧者劳而智者忧,无能者无所求,饱食而遨游,泛若不系之舟