NLP（自然语言处理）基础

NLP基础

NLP的基础分类

• 自然语言理解
  • 音系学：指代语言中发音的系统化组织。
  • 词态学：研究单词构成以及相互之间的关系。
  • 句法学：给定文本的哪部分是语法正确的。
  • 语意句法学：给定文本的含义是什么？
  • 语用学：文本的目的是什么？
• 自然语言生成
  • 自然语言文本（NLG）

NLP的应用

• 机器翻译：计算机具备将一种语言翻译成另一种语言的能力
• 情感分析：计算机能够判断用户评论是否积极。
• 智能问答：计算机能够正确回答输入的问题。
• 文摘生成：计算机能够准确归纳、总结并产生文本摘要。
• 文本分类：计算机能够采集各种文章，进行主题分析，从而进行自动分类。
• 輿论分析：计算机能够判断目前舆论的导向。
• 知识图谱：知识点相互连接而成的语义网络。

NLP的基本术语

1. 分词（segment）：中文较难，常用基于字典的最长串匹配
2. 词性标注（part-of-speech tagging）
3. 命名实体识别（NER，Named Entity Recognition）：提取识别特定类别的实体，如人名、地名、专有名词
4. 句法分析（syntax parsing）：理清各成分的关系
5. 指代消解（anaphora resolution）：对代词的转换消解
6. 情感识别（emotion recognition）：正负中性的分类
7. 纠错（ correction）
8. 问答系统（QA system）

NLP的知识结构

句法语义分析、关键词抽取、文本挖掘、机器翻译、信息检索、问答系统、对话系统