[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/...[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/过程]本研究采用基于Trie树的字符串匹配算法完成实验语料的批量标注任务,利用中文XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)预训练模型嵌入主流BiLSTM-CRF模型中,构建基于XLNet-BiLSTM-CRF的中共党史文献命名实体识别模型。[结果/结论]该模型在命名实体识别中表现优异,其调和平均数F值为0.9535,高于BiLSTM-CRF、BERT-BiLSTM-CRF、BERT-wwmext-BiLSTM-CRF、XLNet-CRF等深度学习模型。研究表明本文提出的方法对于中共党史非结构化文本挖掘工作具有可行性和有效性。展开更多
针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型Bi...针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型BiLSTM-CRF的基础上,引入了BERT(Bidirectional Encoder Representaions from Transformers)预训练模型及卷积层(Convolutional layer),构建了BERT-1DCNN-BiLSTM-CRF模型,提升了地理信息服务文献实体识别的准确率.该模型在词嵌入层以BERT预训练模型取代了传统的静态语言模型,从而有效地解决了地理信息服务领域因缺乏大量训练语料而无法表达更丰富句子语义信息的问题;此外,在BERT模型之后还加入了字间卷积特征,提升了句子局部特征的表示能力,降低了句子语义稀疏的干扰.实验结果表明,融合了BERT模型与CNN模型的GIServices文献实体识别方法效果优于传统深度学习的方法,模型准确率达到了0.8268,能够较好地实现GIServices文献自动化实体识别,同时也能较好地体现基于BERT的深度学习模型在实体自动化识别方面的有效性.展开更多
针对传统知识图谱实体抽取方法需要大量人工特征和专家知识的问题,提出一种基于BILSTM_CRF模型的神经网络结构实体抽取方法。它既能使用双向长短时记忆网络BILSTM(Bidirectional Long Short-Term Memory)提取文本信息的特征,又可利用条...针对传统知识图谱实体抽取方法需要大量人工特征和专家知识的问题,提出一种基于BILSTM_CRF模型的神经网络结构实体抽取方法。它既能使用双向长短时记忆网络BILSTM(Bidirectional Long Short-Term Memory)提取文本信息的特征,又可利用条件随机场CRF(Conditional Random Fields)衡量序列标注的联系。该方法对输入的文本进行建模,把句子中的每个词转换为词向量;利用BILSTM处理分布式向量得到句子特征;使用CRF标注并抽取实体,得到最终结果。实验结果表明,该方法的准确率和召回率更高,F1值提升约8%,具有更强的适用性。展开更多
针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from...针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。展开更多
文摘[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/过程]本研究采用基于Trie树的字符串匹配算法完成实验语料的批量标注任务,利用中文XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)预训练模型嵌入主流BiLSTM-CRF模型中,构建基于XLNet-BiLSTM-CRF的中共党史文献命名实体识别模型。[结果/结论]该模型在命名实体识别中表现优异,其调和平均数F值为0.9535,高于BiLSTM-CRF、BERT-BiLSTM-CRF、BERT-wwmext-BiLSTM-CRF、XLNet-CRF等深度学习模型。研究表明本文提出的方法对于中共党史非结构化文本挖掘工作具有可行性和有效性。
文摘针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型BiLSTM-CRF的基础上,引入了BERT(Bidirectional Encoder Representaions from Transformers)预训练模型及卷积层(Convolutional layer),构建了BERT-1DCNN-BiLSTM-CRF模型,提升了地理信息服务文献实体识别的准确率.该模型在词嵌入层以BERT预训练模型取代了传统的静态语言模型,从而有效地解决了地理信息服务领域因缺乏大量训练语料而无法表达更丰富句子语义信息的问题;此外,在BERT模型之后还加入了字间卷积特征,提升了句子局部特征的表示能力,降低了句子语义稀疏的干扰.实验结果表明,融合了BERT模型与CNN模型的GIServices文献实体识别方法效果优于传统深度学习的方法,模型准确率达到了0.8268,能够较好地实现GIServices文献自动化实体识别,同时也能较好地体现基于BERT的深度学习模型在实体自动化识别方面的有效性.
文摘针对传统知识图谱实体抽取方法需要大量人工特征和专家知识的问题,提出一种基于BILSTM_CRF模型的神经网络结构实体抽取方法。它既能使用双向长短时记忆网络BILSTM(Bidirectional Long Short-Term Memory)提取文本信息的特征,又可利用条件随机场CRF(Conditional Random Fields)衡量序列标注的联系。该方法对输入的文本进行建模,把句子中的每个词转换为词向量;利用BILSTM处理分布式向量得到句子特征;使用CRF标注并抽取实体,得到最终结果。实验结果表明,该方法的准确率和召回率更高,F1值提升约8%,具有更强的适用性。
文摘针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。
