自然语言处理（lǐ）(NLP)的一般处理流程（chéng）！

1. 什么是NLP

自然语言处理 (Natural Language Processing) 是人工智能（néng）（AI）的一个子领域。自然（rán）语言处理是研究在人与人交互中以及在人与计算机（jī）交（jiāo）互中（zhōng）的（de）语言问题的（de）一（yī）门学科。为了建设和完善语言模型，自然（rán）语言（yán）处理建立计算框架，提出相应的（de）方法（fǎ）来不断（duàn）的完善（shàn）设计各种实用系（xì）统（tǒng），并探讨这些实（shí）用系（xì）统（tǒng）的评（píng）测方法。

2. NLP主要（yào）研究方向

信息抽取：从给定文本中抽取重（chóng）要的信息，比如（rú）时间（jiān）、地点（diǎn）、人物、事件、原因、结果、数（shù）字（zì）、日期、货币、专有名词等等。通俗说（shuō）来，就是要了解（jiě）谁在什（shí）么时（shí）候、什么原因、对谁、做了什么事、有什（shí）么（me）结果。

文本生成：机器像人（rén）一样使用自然语（yǔ）言进行（háng）表达和写作（zuò）。依据输入（rù）的不同，文本生成技术主要包括数据（jù）到文本（běn）生成和文（wén）本到文本（běn）生成。数据到（dào）文本生成是（shì）指将包含键（jiàn）值对的数（shù）据（jù）转化为自（zì）然语（yǔ）言文本（běn）；文本到文本（běn）生成对（duì）输入（rù）文本进行转化和处理（lǐ）从（cóng）而产生新的文本。

问答系统：对一（yī）个自（zì）然语言（yán）表（biǎo）达的问（wèn）题（tí），由问答系统（tǒng）给出一个精（jīng）准的（de）答案。需要对自然语言查（chá）询语句进行某种程度的（de）语义分析，包括实体链接、关系识别，形成（chéng）逻辑表达式，然（rán）后到知识库中（zhōng）查找（zhǎo）可能的候选答案并通过一个排序机制找出最（zuì）佳的答案。

对话系统：系统通过一系列的（de）对话，跟用户进行聊（liáo）天、回答、完成（chéng）某一项任务。涉及（jí）到用户意图理解、通用聊天引擎、问答引擎、对话管理等技术（shù）。此（cǐ）外（wài），为（wéi）了体现上（shàng）下文相（xiàng）关，要具备多轮（lún）对话（huà）能（néng）力（lì）。

文本挖掘：包括文本聚类、分（fèn）类、情感分析以及对挖掘的信（xìn）息和知识的可视化、交互式（shì）的表达界面（miàn）。目（mù）前主流的技术都是基于统计机器学习的。

语（yǔ）音（yīn）识别和生（shēng）成：语音识别是将输入计（jì）算机的语音符号识别转换成书面语表示。语音生（shēng）成又称文（wén）语转换（huàn）、语音（yīn）合（hé）成，它是指将书面文本自动转换（huàn）成对应的（de）语音表征。

信息过（guò）滤：通过计算（suàn）机系统（tǒng）自动识（shí）别（bié）和过（guò）滤符合特定（dìng）条件的文档信息。通常指（zhǐ）网络有害（hài）信息的自动识（shí）别和（hé）过滤，主要用于信息安全和防护（hù），网络内容管理等。

舆情分析：是指（zhǐ）收集和处理海量信息（xī），自动（dòng）化地（dì）对网络舆情进行分析（xī），以实现及时应对（duì）网络（luò）舆情的目的（de）。

信息检索（suǒ）：对大规模的（de）文档进行索引（yǐn）。可简单对文档中的词汇，赋之以不同（tóng）的（de）权重来建立索引（yǐn），也可建立更加深层的索（suǒ）引（yǐn）。在查询的时候（hòu），对输入的查（chá）询表（biǎo）达式比如一个检索词或者一个句子进行分析，然后（hòu）在索引里（lǐ）面（miàn）查找（zhǎo）匹（pǐ）配的候选（xuǎn）文档，再（zài）根据一个排序（xù）机制（zhì）把候选文档排序，最后输出（chū）排序（xù）得（dé）分最高（gāo）的文（wén）档。

机（jī）器（qì）翻译：把输入的源语言文本通过（guò）自动翻（fān）译（yì）获得另外一种（zhǒng）语言的（de）文本。机器翻译（yì）从最早的基于规则的方法（fǎ）到二十年（nián）前的基于（yú）统计（jì）的方法，再（zài）到今天（tiān）的基于神（shén）经网（wǎng）络（编（biān）码-解（jiě）码）的方法（fǎ），逐渐形成了一套比较严（yán）谨的方法体系（xì）。

3. NLP的发展

1950年前（qián）:图灵（líng）测试 1950年前阿兰·图灵图灵测试:人和机器进行交流，如果人无（wú）法判断自己交流的对（duì）象（xiàng）是人还是机器，就说明这（zhè）个机器具（jù）有智能。

1950-1970:主流:基于规则（zé）形式（shì）语言理论（lùn）

乔（qiáo）姆斯基，根（gēn）据数学（xué）中的公理化方法研究自然（rán）语言，采用代数和集合论把形（xíng）式语言定义（yì）为符号的序列。他试图（tú）使用有限的（de）规则描述无限的语（yǔ）言现象，发现人类（lèi）普遍的语言（yán）机制，建立所谓的普遍语（yǔ）法。

1970-至今:主流:基于统计 谷歌、微软、IBM，20世纪70年代，弗里德里（lǐ）克·贾里尼克（kè）及其领（lǐng）导的IBM华生实验（yàn）室将语音（yīn）识别率从（cóng）70%提升到90%。 1988年，IBM的彼得（dé）·布朗提出了基于统计的（de）机器翻译（yì）方法（fǎ）。 2005年，Google机器翻译打（dǎ）败基于（yú）规（guī）则的Sys Tran。

2010年（nián）以后:逆（nì）袭:机器学习（xí）

AlphaGo先后战胜（shèng）李世石、柯洁（jié）等，掀（xiān）起人工智能热潮（cháo）。深度学习、人工神经网（wǎng）络成为热词（cí）。领域:语音识别、图像识（shí）别、机（jī）器翻译、自动驾（jià）驶、智能家居（jū）。

4. NLP任（rèn）务的一（yī）般步骤

下面（miàn）图片看不清楚的，可以百度（dù）脑图查（chá）看，点击（jī）链接

5. NLP、CV，选（xuǎn）哪个？

NLP：自然（rán）语言（yán）处理，数据是文本。

CV：计算机视（shì）觉，数据是图像。

两者（zhě）属于不同的领域，在遇到（dào）这个问题（tí）的时候，我也是（shì）犹豫了很（hěn）久（jiǔ），想（xiǎng）了很（hěn）多，于是乎得（dé）出一个结论:都（dōu）是利用深度学习去解决现实世界存在的问题，离开了（le）CV，NLP存（cún）活不了；离（lí）开了NLP，CV存活不（bú）了。两者（zhě）就像兄弟姐妹一样，整（zhěng）个（gè）“家庭”不能分割但（dàn）个体又存在差异！

NLP/CV属于两个（gè）不同的研究领（lǐng）域，都是很好的（de）领域，可以根据自（zì）己的（de）爱好作出适合自己的选择（zé），人工智（zhì）能是一个多学科交叉的领域，需要的不（bú）仅仅是（shì）单方面的能力，而是多方面（miàn）的能力。对于每个人来说都有自己的（de）侧重点，选（xuǎn）择自（zì）己擅长的（de）领域（yù）里持续深耕（gēng），就（jiù）会有所成就！