随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等...随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等问题,本文提出了基于XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)的农业命名实体识别模型XLNet-IDCNN-CRF。嵌入层XLNet对于输入文本进行向量化表示,丰富文本的语义信息,缓解一词多义问题,通过编码层迭代膨胀卷积神经网络(Iterated Dilated Convolutional Neural Network,IDCNN)并行计算减少训练时间,获取文本特征信息,结合起来输入到输出层条件随机场模型(Conditional Random Field,CRF)识别标签信息,输出最优序列。本文在自建语料库上准确率达到95.58%,召回率92.36%,F1值93.91%,对比优于其他模型。实验结果表明,XLNet-IDCNNCRF模型能够较好地完成农业命名实体识别任务。展开更多
文摘随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等问题,本文提出了基于XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)的农业命名实体识别模型XLNet-IDCNN-CRF。嵌入层XLNet对于输入文本进行向量化表示,丰富文本的语义信息,缓解一词多义问题,通过编码层迭代膨胀卷积神经网络(Iterated Dilated Convolutional Neural Network,IDCNN)并行计算减少训练时间,获取文本特征信息,结合起来输入到输出层条件随机场模型(Conditional Random Field,CRF)识别标签信息,输出最优序列。本文在自建语料库上准确率达到95.58%,召回率92.36%,F1值93.91%,对比优于其他模型。实验结果表明,XLNet-IDCNNCRF模型能够较好地完成农业命名实体识别任务。
