近年来，基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为

　　命名实体识别（Named Entity Recognition，NER）就是从一段自然语言文本中找出相关实体，并标注出其位置以及类型，如下图。它是NLP领域中一些复杂任务（例如关系抽取，信息检索等）的基础。

　　NER一直是NLP领域中的研究热点，从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER研究进展的大概趋势大致如下图所示。

　　在基于机器学习的方法中，NER被当作是序列标注问题。与分类问题相比，序列标注问题中当前的预测标签不仅与当前的输入特征相关，还与之前的预测标签相关，即预测标签序列之间是有强相互依赖关系的。例如，使用BIO标签策略进行NER时，正确的标签序列中标签O后面是不会接标签I的。

　　在传统机器学习中，条件随机场（Conditional Random Field，CRF）是NER目前的主流模型。它的目标函数不仅考虑输入的状态特征函数，而且还包含了标签转移特征函数。在训练时可以使用SGD学习模型参数。在已知模型时，给输入序列求预测输出序列即求使目标函数最大化的最优序列，是一个动态规划问题，可以使用维特比算法进行解码。

　　《Natural language processing (almost) from scratch》是较早使用神经网络进行NER的代表工作之一。在这篇论文中，作者提出了窗口方法与句子方法两种网络结构来进行NER。这两种结构的主要区别就在于窗口方法仅使用当前预测词的上下文窗口进行输入，然后使用传统的NN结构；而句子方法是以整个句子作为当前预测词的输入，加入了句子中相对位置特征来区分句子中的每个词，然后使用了一层卷积神经网络CNN结构。

　　在训练阶段，作者也给出了两种目标函数：一种是词级别的对数似然，即使用softmax来预测标签概率，当成是一个传统分类问题；另一种是句子级别的对数似然，其实就是考虑到CRF模型在序列标注问题中的优势，将标签转移得分加入到了目标函数中。后来许多相关工作把这个思想称为结合了一层CRF层，所以我这里称为NN/CNN-CRF模型。

　　在作者的实验中，上述提到的NN和CNN结构效果基本一致，但是句子级别似然函数即加入CRF层在NER的效果上有明显提高。

　　借鉴上面的CRF思路，在2015年左右出现了一系列使用RNN结构并结合CRF层进行NER的工作。代表工作主要有：

　　它主要有Embedding层（主要有词向量，字符向量以及一些额外特征），双向RNN层，tanh隐层以及最后的CRF层构成。它与之前NN/CNN-CRF的主要区别就是他使用的是双向RNN代替了NN/CNN。这里RNN常用LSTM或者GRU。实验结果表明RNN-CRF获得了更好的效果，已经达到或者超过了基于丰富特征的CRF模型，成为目前基于深度学习的NER方法中的最主流模型。在特征方面，该模型继承了深度学习方法的优势，无需特征工程，使用词向量以及字符向量就可以达到很好的效果，如果有高质量的词典特征，能够进一步获得提高。