【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integ...【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration,ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network,BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network,IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field,CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia,MSRA)数据集上的F_(1)值达到了95.18%,相比基准模型BiLSTM-CRF F_(1)值提高了8.86百分点,相比ERNIE-BiLSTM-CRF模型F_(1)值提高了1.34百分点。此外,在ERNIE-BiLSTM-IDCNN-CRF中引入注意力机制后F_(1)值仅提升了0.07百分点,可见引入注意力机制对本研究所提出的模型之识别效果提升有限。【结论】本研究所提出的模型有效地提升了中文数据集上的实体识别性能,可为自然语言处理的命名实体识别研究提供参考。展开更多
文摘【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration,ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network,BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network,IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field,CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia,MSRA)数据集上的F_(1)值达到了95.18%,相比基准模型BiLSTM-CRF F_(1)值提高了8.86百分点,相比ERNIE-BiLSTM-CRF模型F_(1)值提高了1.34百分点。此外,在ERNIE-BiLSTM-IDCNN-CRF中引入注意力机制后F_(1)值仅提升了0.07百分点,可见引入注意力机制对本研究所提出的模型之识别效果提升有限。【结论】本研究所提出的模型有效地提升了中文数据集上的实体识别性能,可为自然语言处理的命名实体识别研究提供参考。
