NLP | NLP基础
NLP(自然语言处理)基础
NLP基础
NLP的基础分类
- 自然语言理解
- 音系学:指代语言中发音的系统化组织。
- 词态学:研究单词构成以及相互之间的关系。
- 句法学:给定文本的哪部分是语法正确的。
- 语意句法学:给定文本的含义是什么?
- 语用学:文本的目的是什么?
- 自然语言生成
- 自然语言文本(NLG)
NLP的应用
- 机器翻译:计算机具备将一种语言翻译成另一种语言的能力
- 情感分析:计算机能够判断用户评论是否积极。
- 智能问答:计算机能够正确回答输入的问题。
- 文摘生成:计算机能够准确归纳、总结并产生文本摘要。
- 文本分类:计算机能够采集各种文章,进行主题分析,从而进行自动分类。
- 輿论分析:计算机能够判断目前舆论的导向。
- 知识图谱:知识点相互连接而成的语义网络。
NLP的基本术语
- 分词(segment):中文较难,常用基于字典的最长串匹配
- 词性标注(part-of-speech tagging)
- 命名实体识别(NER,Named Entity Recognition):提取识别特定类别的实体,如人名、地名、专有名词
- 句法分析(syntax parsing):理清各成分的关系
- 指代消解(anaphora resolution):对代词的转换消解
- 情感识别(emotion recognition):正负中性的分类
- 纠错( correction)
- 问答系统(QA system)
NLP的知识结构
句法语义分析、关键词抽取、文本挖掘、机器翻译、信息检索、问答系统、对话系统