期刊文献+
共找到106篇文章
< 1 2 6 >
每页显示 20 50 100
基于RoBERTa-CRF的古文历史事件抽取方法研究 被引量:15
1
作者 喻雪寒 何琳 徐健 《数据分析与知识发现》 CSSCI CSCD 北大核心 2021年第7期26-35,共10页
【目的】为有效抽取典籍中蕴含的事件信息,构建面向典籍的事件抽取框架,并采用RoBERTa-CRF模型实现事件类型、论元角色和论元的抽取。【方法】选择《左传》的战争句作为实验数据,建立事件类型和论元角色的分类模板。基于RoBERTa-CRF模型... 【目的】为有效抽取典籍中蕴含的事件信息,构建面向典籍的事件抽取框架,并采用RoBERTa-CRF模型实现事件类型、论元角色和论元的抽取。【方法】选择《左传》的战争句作为实验数据,建立事件类型和论元角色的分类模板。基于RoBERTa-CRF模型,先用多层Transformer提取语料特征,再结合前后文序列标签学习相关性约束,由输出的标记序列识别论元并对其进行抽取。【结果】对比GuwenBERT-LSTM、BERT-LSTM、RoBERTa-LSTM、BERT-CRF、RoBERTa-CRF等5种模型在数据集上的事件抽取实验结果,RoBERTa-CRF的精确度为87.6%、召回率为77.2%、F1值达到82.1%,验证了该模型的有效性和可操作性。【局限】使用的数据集规模较小,无法使主题类别更均衡化。【结论】本文构建的RoBERTa-CRF模型提升了面向《左传》战争句的事件抽取效果。 展开更多
关键词 roberta CRF 事件抽取 古文
原文传递
RoBERTa融合BiLSTM及注意力机制的隐式情感分析 被引量:11
2
作者 张军 张丽 +2 位作者 沈凡凡 谭海 何炎祥 《计算机工程与应用》 CSCD 北大核心 2022年第23期142-150,共9页
隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模... 隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。 展开更多
关键词 自然语言处理 隐式情感分析 roberta 注意力机制 双向长短期记忆网络(BiLSTM)
下载PDF
数字人文视角下的非物质文化遗产文本自动分词及应用研究 被引量:8
3
作者 胡昊天 邓三鸿 +3 位作者 张逸勤 张琪 孔嘉 王东波 《图书馆杂志》 CSSCI 北大核心 2022年第8期76-83,共8页
文本自动分词是非物质文化遗产相关数字人文研究的基础与关键步骤,是深度发掘非遗内在信息的前提。文章构建了国家级非物质文化遗产项目申报文本自动分词模型,探究了融入领域知识的机器学习模型CRF、深度学习模型Bi-LSTM-CRF和预训练语... 文本自动分词是非物质文化遗产相关数字人文研究的基础与关键步骤,是深度发掘非遗内在信息的前提。文章构建了国家级非物质文化遗产项目申报文本自动分词模型,探究了融入领域知识的机器学习模型CRF、深度学习模型Bi-LSTM-CRF和预训练语言模型BERT、RoBERTa、ALBERT在非遗文本上的分词性能,并对比了通用分词工具HanLP、Jieba、NLPIR的效果。在全部14种模型中,RoBERTa模型效果最佳,F值达到了97.28%,预训练模型中ALBERT在同等条件下训练速度最快。调用分词模型,构建了非遗文本领域词表和全文分词语料库,对非遗文本词汇分布情况进行了分析挖掘。开发了中国非物质文化遗产文本自动分词系统(CITS),为非遗文本自动分词及分词结果的多维可视化分析提供了工具。 展开更多
关键词 非物质文化遗产 数字人文 预训练模型 中文分词 roberta ALBERT
下载PDF
一种使用RoBERTa-BiLSTM-CRF的中文地址解析方法 被引量:6
4
作者 张红伟 杜清运 +1 位作者 陈张建 张琛 《武汉大学学报(信息科学版)》 EI CAS CSCD 北大核心 2022年第5期665-672,共8页
针对当前地址匹配方法严重依赖分词词典、无法有效识别地址中的地址元素及其所属类型的问题,提出了使用深度学习的中文地址解析方法,该方法能够对解析后的地址进行标准化和构成分析以改善地址匹配结果。通过对地址的不同词向量表示及不... 针对当前地址匹配方法严重依赖分词词典、无法有效识别地址中的地址元素及其所属类型的问题,提出了使用深度学习的中文地址解析方法,该方法能够对解析后的地址进行标准化和构成分析以改善地址匹配结果。通过对地址的不同词向量表示及不同序列标注模型的对比评估,结果表明,使用双向门递归单元和双向长短时记忆网络对中文地址解析差别较小,稀疏注意力机制有助于提高地址解析的F1值。所提出的方法在泛化能力测试集上的F1值达到了0.940,在普通测试集上的F1值达到了0.968。 展开更多
关键词 地址解析 中文地址分词 注意力机制 长短时记忆网络 roberta BiLSTM CRF
原文传递
基于多窗口注意力机制的中文命名实体识别 被引量:1
5
作者 占文韬 吴晓鸰 凌捷 《小型微型计算机系统》 CSCD 北大核心 2024年第6期1325-1330,共6页
近年来,由于Transformer模型中应用的多头注意力机制能够有效地捕获较长的上下文信息,基于Transformer的模型已经成为主流方法.尽管这些模型能够有效捕获全局上下文信息,它们在局部特征和位置信息提取方面仍然有限.因此,本文提出了一种... 近年来,由于Transformer模型中应用的多头注意力机制能够有效地捕获较长的上下文信息,基于Transformer的模型已经成为主流方法.尽管这些模型能够有效捕获全局上下文信息,它们在局部特征和位置信息提取方面仍然有限.因此,本文提出了一种基于多窗口注意力机制的中文命名实体识别模型.首先,通过基于Transformer的预训练语言模型RoBERTa把文本表征为字符级嵌入向量,捕捉深度上下文信息,得到全局上下文信息;其次,局部特征提取模块利用多窗口循环机制,在全局特征提取模块的引导下提取局部特征和位置信息;最后,所提出的多窗口注意力机制有效地融合全局特征和多个局部特征来预测实体标签.在CMeEE和MSRA数据集上进行了实验验证;结果表明,本文所提出的模型分别获得了64.31%和94.14%的F1值,性能优于其他同类模型,验证了其在中文命名实体识别的有效性. 展开更多
关键词 命名实体识别 多窗口注意力机制 特征融合 roberta
下载PDF
融合实体信息和时序特征的问答式事件检测方法
6
作者 马宇航 宋宝燕 +2 位作者 丁琳琳 鲁闻一 纪婉婷 《计算机工程与设计》 北大核心 2024年第4期1218-1224,共7页
针对现有问答方法在处理触发词歧义性问题上的不足,提出一种融合实体信息和时序特征的问答式事件检测方法EDQA-EITF。构建一种基于RoBERTa的问答框架,增强模型的语义表示能力;通过在模型输入序列中显示地添加实体、实体类型等先验信息,... 针对现有问答方法在处理触发词歧义性问题上的不足,提出一种融合实体信息和时序特征的问答式事件检测方法EDQA-EITF。构建一种基于RoBERTa的问答框架,增强模型的语义表示能力;通过在模型输入序列中显示地添加实体、实体类型等先验信息,进一步帮助模型根据句子的上下文语境对触发词进行分类;采用最小门控循环单元(minimal gated unit,MGU)和Transformer编码器对输入序列中的时序依赖关系进行建模,提升模型对于句子的语义关系、句法结构的阅读与理解能力。公共数据集上的实验结果表明,所提方法在进行事件检测时具有更优的性能,有效缓解了触发词的歧义性问题。 展开更多
关键词 事件检测 问答 roberta 时序特征 先验信息 最小门控单元 TRANSFORMER
下载PDF
基于RBBLA混合模型的文本相似度计算方法
7
作者 任喜伟 杜丰怡 +2 位作者 向启怀 李兆允 赵杉 《陕西科技大学学报》 北大核心 2024年第4期184-190,198,共8页
文本相似度计算是两个或多个文本之间相似程度的度量,它被广泛用于多个场景.针对现有研究存在的缺乏上下文交互特征捕获、语义结构信息表示不足等问题,提出一种基于RBBLA(RoBERTa-BiLSTM-Attention)混合模型的文本相似度计算方法,该模... 文本相似度计算是两个或多个文本之间相似程度的度量,它被广泛用于多个场景.针对现有研究存在的缺乏上下文交互特征捕获、语义结构信息表示不足等问题,提出一种基于RBBLA(RoBERTa-BiLSTM-Attention)混合模型的文本相似度计算方法,该模型基于RoBERTa模型预训练,获得词语的向量化表示,并提取句子中的语义特征;接着使用双向长短期记忆网络及注意力机制提取上下文依赖关系;最后将两句子的文本特征经聚合操作后由Softmax函数处理得到相似度评分结果.将RBBLA模型与RoBERTa等基准模型在LCQMC数据集上进行对比实验,结果表明,与最优模型相比,RBBLA模型在准确率、精确率等指标上分别提升了2.9、2.1个百分点. 展开更多
关键词 文本相似度 roberta 双向长短期记忆网络(BiLSTM) 注意力机制
下载PDF
基于预训练模型与标签融合的文本分类
8
作者 余杭 周艳玲 +1 位作者 翟梦鑫 刘涵 《计算机应用》 CSCD 北大核心 2024年第3期709-714,共6页
对海量的用户文本评论数据进行准确分类具有重要的经济效益和社会效益。目前大部分文本分类方法是将文本编码直接使用于各式的分类器之前,而忽略了标签文本中蕴含的提示信息。针对以上问题,提出一种基于RoBERTa(Robustly optimized BERT... 对海量的用户文本评论数据进行准确分类具有重要的经济效益和社会效益。目前大部分文本分类方法是将文本编码直接使用于各式的分类器之前,而忽略了标签文本中蕴含的提示信息。针对以上问题,提出一种基于RoBERTa(Robustly optimized BERT pretraining approach)的文本和标签信息融合分类模型(TLIFC-RoBERTa)。首先,利用RoBERTa预训练模型获得词向量;然后,利用孪生网络结构分别训练文本和标签向量,通过交互注意力将标签信息映射到文本上,达到将标签信息融入模型的效果;最后,设置自适应融合层将文本表示与标签表示紧密融合进行分类。在今日头条和THUCNews数据集上的实验结果表明,相较于将Labelatt(Label-based attention improved model)中使用的静态词向量改为RoBERTa-wwm训练后的词向量算法(RA-Labelatt)、RoBERTa结合基于标签嵌入的多尺度卷积初始化文本分类算法(LEMC-RoBERTa)等主流深度学习模型,TLIFC-RoBERTa的精度最高,对于用户评论数据集有最优的分类效果。 展开更多
关键词 文本分类 预训练模型 交互注意力 标签嵌入 roberta
下载PDF
基于RoBERTa_BiLSTM_CRF的文本情报命名实体识别
9
作者 陆泽健 赵文 尹港港 《中国电子科学研究院学报》 2024年第5期442-447,共6页
随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,... 随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,提出了一种结合RoBERTa、BiLSTM和条件随机场(Conditional Random Fields,CRF)的命名实体识别新算法。此算法通过Ro-BERTa模型深入挖掘文本的语义特征,BiLSTM模型捕捉序列上下文信息,CRF层用于精确的实体标记,从而有效提升信息提取的准确率和效率。本文基于开源情报语料库构建了一个涉及导弹发射事件的命名实体识别数据集,并在此基础上进行了实验,结果表明,该方法在精确率、召回率及F1值等关键指标上相较于主流深度学习方法表现出显著的性能提升,其中F1值高达94.21%。 展开更多
关键词 威胁情报分析 命名实体识别 roberta BiLSTM CRF
下载PDF
改进BERT的中文评论情感分类模型 被引量:5
10
作者 范安民 李春辉 《软件导刊》 2022年第2期13-20,共8页
为了改善现有基于深度学习网络的中文评论情感分类方法,同时提高中文评论情感分类的正确率和效率,基于Tensorflow框架,对传统BERT模型进行改进,以Nlpcc2013和Nlpcc2014公开的微博评论数据集为实验数据,分别从两个数据集中清洗抽取出3 94... 为了改善现有基于深度学习网络的中文评论情感分类方法,同时提高中文评论情感分类的正确率和效率,基于Tensorflow框架,对传统BERT模型进行改进,以Nlpcc2013和Nlpcc2014公开的微博评论数据集为实验数据,分别从两个数据集中清洗抽取出3 949条和14 163条情感极性明显的评论,将数据输入改进后的RoBERTa模型中,提取语义后利用Sigmoid函数进行情感正负极性分类。实验结果表明,该模型的算法准确率、精确率、召回率和F1值较高,在Nlpcc2013数据集上分别达87.85%、88.36%和89.67%,比传统的BERT模型在各项数据上分别提高了1.52%、0.47%、2.58%、1.52%;在Nlpcc2014数据集上各项指标比BERT模型分别提高了1.30%、0.54%、2.32%、1.44%。研究表明,该模型在中文评论情感分类处理上表现优异,相较以往的深度学习网络模型效果更好。 展开更多
关键词 深度学习 BERT roberta 中文情感分类
下载PDF
融合RoBERTa和注意力机制的隐喻方面级情感分析 被引量:2
11
作者 马圆圆 禹龙 +2 位作者 田生伟 钱梦莹 张立强 《小型微型计算机系统》 CSCD 北大核心 2023年第10期2236-2241,共6页
针对目前大多数隐喻情感分析方法存在对方面情感注意力引入不足的问题,提出一种用于隐喻方面级情感分类的模型.模型首先通过RoBERTa对具有方面情感信息的文本进行编码,将编码后的方面信息和多层情感注意力信息融合,形成多层方面注意力... 针对目前大多数隐喻情感分析方法存在对方面情感注意力引入不足的问题,提出一种用于隐喻方面级情感分类的模型.模型首先通过RoBERTa对具有方面情感信息的文本进行编码,将编码后的方面信息和多层情感注意力信息融合,形成多层方面注意力表征向量.将该表征向量与隐喻句的关联结果作为文本原始特征,利用注意力机制和方面信息对其解码,然后通过卷积网络计算隐喻句与方面词的关联度.将池化层输出结果和卷积计算结果合并,最后计算隐喻句不同方面词的情感极性的概率,完成隐喻情感分析.实验结果表明该模型对3种情感极性的平均判断准确率分别达到了83.26%,81.69%和56.68%,与基线实验相比均有所提升. 展开更多
关键词 隐喻情感分析 方面级情感分析 多层注意力机制 roberta
下载PDF
融合RoBERTa-GCN-Attention的隐喻识别与情感分类模型
12
作者 杨春霞 韩煜 +1 位作者 桂强 陈启岗 《小型微型计算机系统》 CSCD 北大核心 2024年第3期576-583,共8页
在隐喻识别与隐喻情感分类任务的联合研究中,现有多任务学习模型存在对隐喻语料中的上下文语义信息和句法结构信息提取不够准确,并且缺乏对粗细两种粒度信息同时捕捉的问题.针对第1个问题,首先改进了传统的RoBERTa模型,在原有的自注意... 在隐喻识别与隐喻情感分类任务的联合研究中,现有多任务学习模型存在对隐喻语料中的上下文语义信息和句法结构信息提取不够准确,并且缺乏对粗细两种粒度信息同时捕捉的问题.针对第1个问题,首先改进了传统的RoBERTa模型,在原有的自注意力机制中引入上下文信息,以此提取上下文中重要的隐喻语义特征;其次在句法依存树上使用图卷积网络提取隐喻句中的句法结构信息.针对第2个问题,使用双层注意力机制,分别聚焦于单词和句子层面中对隐喻识别和情感分类有贡献的特征信息.在两类任务6个数据集上的对比实验结果表明,该模型相比基线模型性能均有提升. 展开更多
关键词 隐喻识别 情感分类 多任务学习 roberta 图卷积网络 注意力机制
下载PDF
基于RoBERTa的油气高风险作业管控措施分类方法
13
作者 同俊锋 陈喆 +3 位作者 段雨 李根胜 许斌 阎红巧 《科技创新与生产力》 2024年第6期104-106,111,共4页
本文提出了一种基于RoBERTa的油气高风险作业管控措施分类方法,旨在解决高风险作业JSA库针对性不足的问题,该方法可以自动、准确地将管控措施划分成关键性措施与一般性措施,能够帮助使用者快速找到并采取关键的风险管控措施,提升JSA库... 本文提出了一种基于RoBERTa的油气高风险作业管控措施分类方法,旨在解决高风险作业JSA库针对性不足的问题,该方法可以自动、准确地将管控措施划分成关键性措施与一般性措施,能够帮助使用者快速找到并采取关键的风险管控措施,提升JSA库的应用效果和风险管控水平。此外,本文还对管控措施分类结果进行了实验验证,结果表明该方法具有较高的准确性和可靠性,F1值达到76%,能够满足实际应用的需要。 展开更多
关键词 油气高风险作业 roberta 风险管控措施 分类方法
下载PDF
基于Roberta的中文短文本语义相似度计算研究
14
作者 张小艳 李薇 《计算机应用与软件》 北大核心 2024年第8期275-281,366,共8页
针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题,提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上,通过Roberta预训练模型分别将原始文本对编码为字级别向量,并使用自注意力... 针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题,提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上,通过Roberta预训练模型分别将原始文本对编码为字级别向量,并使用自注意力机制捕获文本内部不同字之间的关联;通过池化策略获取文本对的句向量进而将表示结果交互并融合;在全连接层计算损失值,评价文本对的语义相似度。将此模型在两类任务下的三种数据集上进行实验,其结果相比于其他模型有所提升,为进一步优化文本语义相似度计算的准确率提供有效依据。 展开更多
关键词 孪生神经网络 roberta 自注意力机制 中文短文本 语义相似度计算
下载PDF
基于深度学习的微博疫情舆情文本情感分析
15
作者 吴加辉 加云岗 +4 位作者 王志晓 张九龙 闫文耀 高昂 车少鹏 《计算机技术与发展》 2024年第7期175-183,共9页
舆论情感分析重点研究公众对于公共事件的情感偏向,其中涉及公共卫生事件的舆论会直接影响社会稳定,所以对于微博的情感分析尤为重要。该文采取有关疫情方面的文本数据集,使用RoBERTa和BiGRU以及双层Attention结合的RoBERTa-BDA(RoBERTa... 舆论情感分析重点研究公众对于公共事件的情感偏向,其中涉及公共卫生事件的舆论会直接影响社会稳定,所以对于微博的情感分析尤为重要。该文采取有关疫情方面的文本数据集,使用RoBERTa和BiGRU以及双层Attention结合的RoBERTa-BDA(RoBERTa-BiGRU-Double Attention)模型作为整体结构。首先使用RoBERTa获取了蕴含文本上下文信息的词嵌入表示,其次使用BiGRU得到字符表示,然后使用注意力机制计算各个字符对于全局的影响,再使用BiGRU得到句子表示,最后使用Attention机制计算出每个字符对于其所在的句子的权重占比,得出全文的文本表示,并通过softmax函数对其进行情感分析。为了验证RoBERTa-BDA模型的有效性,设计三种实验,在不同词向量对比实验中,RoBERTa对比BERT中Macro F1和Micro F1值提高了0.42百分点和0.84百分点,在不同特征提取层模型对比实验中,BiGRU-Double Attention对比BiGRU-Attention提高了3.62百分点和1.34百分点,在跨平台对比实验中,RoBERTa-BDA在贴吧平台的Macro F1和Micro F1对比微博平台仅仅降低1.29百分点和2.88百分点。 展开更多
关键词 roberta 情感分析 特征提取 词向量 注意力机制 BiGRU
下载PDF
基于RoBERTa和位置特征的多注意力方面级情感分析
16
作者 王志东 顾群 《科学技术与工程》 北大核心 2024年第23期9989-9997,共9页
面向方面的情感分析是一种细粒度的情感分析,目的是识别句子中特定方面的情感极性。现有模型中存在句子和方面语义丢失以及语义提取不充分的问题,并且忽略句子中的上下文信息和方面术语的位置关系,导致情感极性识别准确率下降。因此,提... 面向方面的情感分析是一种细粒度的情感分析,目的是识别句子中特定方面的情感极性。现有模型中存在句子和方面语义丢失以及语义提取不充分的问题,并且忽略句子中的上下文信息和方面术语的位置关系,导致情感极性识别准确率下降。因此,提出了基于RoBERTa和位置特征的多注意力方面级情感分析模型用于面向方面级别的情感分类。为验证模型的有效性,在SemEval2014餐厅14、SemEval2014笔记本电脑14、SemEval2015餐厅15、SemEval2016餐厅16数据集中进行了大量的实验,结果表明所提出模型的准确率和F 1高于比较的基准模型。 展开更多
关键词 方面级情感分析 roberta 位置特征 多注意力
下载PDF
基于RoBERTa和集中注意力机制的营商政策多标签分类
17
作者 陈昊飏 《计算机应用》 CSCD 北大核心 2024年第S01期44-48,共5页
为了满足营商政策多标签分类的社会需求,解决使用擅长文本分类、但输入受限的大语言预训练模型进行长文本分类的难题,提出一种基于RoBERTa模型和集中注意力机制的方法,更好地提取语义集中区域的信息表征,对营商政策文本进行有效的多标... 为了满足营商政策多标签分类的社会需求,解决使用擅长文本分类、但输入受限的大语言预训练模型进行长文本分类的难题,提出一种基于RoBERTa模型和集中注意力机制的方法,更好地提取语义集中区域的信息表征,对营商政策文本进行有效的多标签分类。首先,对数据清洗和分析后,得到一定的先验知识:营商政策文本的语义表征集中在文本标题与开篇部分。其次,在文本输入层和向量表示层中,构建集中注意力机制对文本和向量进行处理,增强模型在训练中对语义集中区域的注意力,提高模型信息表征提取能力,优化长文本分类的效果。实验中爬取政府公开的营商政策文本作为数据集,实验结果表明,营商政策长文本分类的准确率可达0.95,Micro-F1值可达0.91,同时对比实验结果显示,融合RoBERTa和集中注意力机制进行营商政策长文本多标签分类比其他模型效果更好。 展开更多
关键词 多标签分类 长文本 营商政策 roberta 预训练模型 注意力机制
下载PDF
融合对抗训练及全局指针的实体关系联合抽取
18
作者 李文炽 刘远兴 +3 位作者 蔡泽宇 吴湘宁 胡远江 杨翼 《计算机系统应用》 2024年第6期91-98,共8页
实体关系联合抽取旨在从文本中抽取出实体关系三元组,是构建知识图谱十分重要的步骤之一.针对实体关系抽取中存在的信息表达能力不强、泛化能力较差、实体重叠和关系冗余等问题,提出了一种实体关系联合抽取模型RGPNRE.使用RoBERTa预训... 实体关系联合抽取旨在从文本中抽取出实体关系三元组,是构建知识图谱十分重要的步骤之一.针对实体关系抽取中存在的信息表达能力不强、泛化能力较差、实体重叠和关系冗余等问题,提出了一种实体关系联合抽取模型RGPNRE.使用RoBERTa预训练模型作为编码器,提高了模型的表达信息能力.在训练过程中引入了对抗训练,提升了模型的泛化能力.使用全局指针,解决了实体重叠的问题.使用关系预测,排除不可能的关系,减少了冗余的关系.在基于schema的中文医学信息抽取数据集CMeIE上进行的实体关系抽取实验表明,模型的F1值比基准模型提升了约2个百分点,在实体对重叠的情况下,模型的F1值提升了近10个百分点,在单一实体重叠情况下,模型的F1值提升了大约1个百分点,说明该模型能够更准确地提取实体关系三元组,从而有效提升知识图谱构建的准确度.在含有1–5个三元组的对比实验中,在拥有4个三元组的句子中,模型的F1值提升了约2个百分点,而在拥有5个及以上三元组的复杂句子中,F1值提升了约1个百分点,说明该模型能够较好地处理复杂句子场景. 展开更多
关键词 实体关系联合抽取 对抗训练 roberta
下载PDF
基于开源情报的军事知识图谱问答智能服务研究
19
作者 范俊杰 马海群 刘兴丽 《数据分析与知识发现》 EI CSCD 北大核心 2024年第7期118-127,共10页
【目的】基于开源情报构建一种军事知识图谱的检索式问答服务系统。【方法】将RoBERTa预训练模型和数据增强技术相结合,解决低资源的军事问答中问句分类和命名实体识别问题,并结合军事领域实体特点提出三维特征的实体链接方法。接着,采... 【目的】基于开源情报构建一种军事知识图谱的检索式问答服务系统。【方法】将RoBERTa预训练模型和数据增强技术相结合,解决低资源的军事问答中问句分类和命名实体识别问题,并结合军事领域实体特点提出三维特征的实体链接方法。接着,采用RoBERTa预训练模型和依存句法分析方法,解决简单意图和部分复杂意图问题的关系匹配问题。最终,应用启发式规则完成答案的提取。【结果】问句分类与实体识别F值分别为99.62%、98.35%,关系抽取准确率达到99.72%,问答系统应用评测平均准确率达到91.70%。【局限】本问答系统的军事知识图谱存在自动扩展效率低下的问题,因此,影响了问答服务质量。【结论】本研究实现了一种具备高可解释性和高准确率的军事知识问答智能服务。 展开更多
关键词 军事知识图谱 问答智能服务 开源情报 roberta
原文传递
基于命名实体识别与Neo4j的中文电子病历知识图谱构建和应用 被引量:5
20
作者 许思特 孙木 《医学信息学杂志》 CAS 2022年第12期50-56,共7页
基于真实中文电子病历与网络爬取数据,构建病历实体识别模型,确定实体关系,进行知识图谱可视化展现,搭建基于规则匹配的问答系统。探索适用于中文电子病历的知识图谱与知识体系构建方法,提高医院统计部门相关审核工作效率,为人工智能技... 基于真实中文电子病历与网络爬取数据,构建病历实体识别模型,确定实体关系,进行知识图谱可视化展现,搭建基于规则匹配的问答系统。探索适用于中文电子病历的知识图谱与知识体系构建方法,提高医院统计部门相关审核工作效率,为人工智能技术在医疗卫生行业应用奠定基础。 展开更多
关键词 中文电子病历 roberta 命名实体识别 知识图谱 Neo4j
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部