期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
图神经网络应用于知识图谱推理的研究综述 被引量:14
1
作者 孙水发 李小龙 +4 位作者 李伟生 雷大江 李思慧 杨柳 吴义熔 《计算机科学与探索》 CSCD 北大核心 2023年第1期27-52,共26页
知识推理(KR)作为知识图谱构建的一个重要环节,一直是该领域研究的焦点问题。随着知识图谱应用研究的不断深入和范围的不断扩大,将图神经网络(GNN)应用于知识推理的方法能够在获取知识图谱中实体、关系等语义信息的同时,充分考虑知识图... 知识推理(KR)作为知识图谱构建的一个重要环节,一直是该领域研究的焦点问题。随着知识图谱应用研究的不断深入和范围的不断扩大,将图神经网络(GNN)应用于知识推理的方法能够在获取知识图谱中实体、关系等语义信息的同时,充分考虑知识图谱的结构信息,使其具备更好的可解释性和更强的推理能力,因此近年来受到广泛关注。首先梳理了知识图谱和知识推理的基本知识及研究现状,简要介绍了基于逻辑规则、基于表示学习、基于神经网络和基于图神经网络的知识推理的优势与不足;其次全面总结了基于图神经网络的知识推理最新进展,将基于图神经网络的知识推理按照基于递归图神经网络(RecGNN)、卷积图神经网络(ConvGNN)、图自编码网络(GAE)和时空图神经网络(STGNN)的知识推理进行分类,对各类典型网络模型进行了介绍和对比分析;然后介绍了基于图神经网络的知识推理在医学、智能制造、军事、交通等领域的应用;最后提出了基于图神经网络的知识推理的未来研究方向,并对这个快速增长领域中的各方向研究进行了展望。 展开更多
关键词 知识图谱 知识推理(KR) 图神经网络(GNN) 语义信息 结构信息
下载PDF
融合领域知识的医学命名实体识别研究 被引量:5
2
作者 裴伟 孙水发 +3 位作者 李小龙 鲁际 杨柳 吴义熔 《数据分析与知识发现》 CSSCI CSCD 北大核心 2023年第3期142-154,共13页
【目的】构建融合医学领域知识的图神经网络结构模型GraphModel-Dict,针对医学文本进行命名实体识别研究。【方法】首先,采用图结构方式对领域知识进行融合,将原始文本数据与领域词典作为不同类别的节点进行构图,利用门控循环单元进行... 【目的】构建融合医学领域知识的图神经网络结构模型GraphModel-Dict,针对医学文本进行命名实体识别研究。【方法】首先,采用图结构方式对领域知识进行融合,将原始文本数据与领域词典作为不同类别的节点进行构图,利用门控循环单元进行节点更新,以得到结合领域知识的原始文本数据节点语义表示;其次,将文本数据节点的最终表示作为双向长短期记忆网络的输入;然后,通过条件随机场预测标签并输出识别序列;最后,使用两个数据集评估模型的性能。【结果】在人工标注的3100份中文乳腺癌超声检查报告数据集上,GraphModel-Dict模型的实体识别的精确率、召回率和F1值达到96.91%、97.52%以及97.22%。另外,在对每类实体的识别效果评估中,针对提取样本数据稀少或表达形式多样化的实体类型,GraphModel-Dict模型表现出更优的识别性能。在CCKS2020医疗数据集上进行性能评估实验,与基线模型相比,GraphModelDict模型的F1值至少提高了1.39%。【局限】GraphModel-Dict模型的实验只在医疗数据集上展开,在其他领域的有效性需进一步研究。【结论】领域知识的有效使用能够提高其在命名实体识别中的作用,为促进医学信息挖掘和临床研究提供了潜力。 展开更多
关键词 医学命名实体识别 图神经网络 领域知识词典 乳腺癌超声检查报告
原文传递
提高图像篡改检测区域选取性能的FCR-CNN模型 被引量:4
3
作者 魏晓燕 左鑫兰 +3 位作者 但志平 吴义熔 董方敏 孙水发 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第4期560-568,共9页
图像篡改检测不同于目标检测,篡改检测更加关注篡改伪像这一目标而非图像内容本身,需要学习更加丰富的特征.为提高图像篡改检测区域选取性能,提出一种将特征金字塔网络(feature pyramid networks, FPN)模型与级联区域卷积神经网络(casca... 图像篡改检测不同于目标检测,篡改检测更加关注篡改伪像这一目标而非图像内容本身,需要学习更加丰富的特征.为提高图像篡改检测区域选取性能,提出一种将特征金字塔网络(feature pyramid networks, FPN)模型与级联区域卷积神经网络(cascade region-convolutional neural networks, Cascade R-CNN)模型相结合的FCR-CNN模型.首先将FPN模型提取的多尺度篡改特征输入到区域建议网络(region proposal network, RPN),然后由RPN输出篡改分类分数和区域建议框,最后将区域建议框输入到3阶段Cascade R-CNN进行检测.此外,系统地对FCR-CNN模型的损失函数进行了分析.基于CASIA, Columbia和NC2016数据集,与其他算法进行对比实验,结果表明, FCR-CNN模型能够有效地检测与定位篡改区域;其中,在CASIA数据集上,其与FPN模型和Cascade R-CNN模型相比, F1分数分别提高了6.0%和7.5%. 展开更多
关键词 图像篡改检测 特征金字塔网络 级联区域卷积网络 区域建议框
下载PDF
基于残差的门控循环单元 被引量:4
4
作者 张忠豪 董方敏 +2 位作者 胡枫 吴义熔 孙水发 《自动化学报》 EI CAS CSCD 北大核心 2022年第12期3067-3074,共8页
传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差... 传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU,Re-GRU)来缓解梯度消失和网络退化问题.Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数;2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明,Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半. 展开更多
关键词 深度学习 循环神经网络 门控循环单元 残差连接
下载PDF
基于融合多策略对比学习的中文医疗术语标准化研究
5
作者 岳崇浩 张剑 +4 位作者 吴义熔 李小龙 华晟 童顺航 孙水发 《数据分析与知识发现》 EI CSSCI CSCD 北大核心 2024年第6期144-157,共14页
【目的】应对中文医疗术语标准化存在的短文本、相似性高、单蕴含与多蕴含等挑战,研究基于融合多策略对比学习的召回-排序-数量预测研究框架。【方法】首先,融合文本统计特征和深度语义特征进行候选召回,依据相似度分数获取候选实体集;... 【目的】应对中文医疗术语标准化存在的短文本、相似性高、单蕴含与多蕴含等挑战,研究基于融合多策略对比学习的召回-排序-数量预测研究框架。【方法】首先,融合文本统计特征和深度语义特征进行候选召回,依据相似度分数获取候选实体集;其次,候选排序将原始术语、标准实体、来自候选召回的候选实体结合预训练模型与对比学习策略训练向量表示,依据余弦相似度重新排序;再次,数量预测通过多头注意力更新原始词的向量表示,预测原始术语中蕴含标准实体的数量;最后,融合候选召回和候选排序的相似度分数,基于数量预测结果按照顺序选取对应标准实体。【结果】在中文医疗术语标准化数据集Yidu-N7k上进行性能评估,与统计模型、主流深度学习模型进行比较,融合多策略对比学习的标准化框架的准确率达到92.17%,对比基于预训练的二分类基线模型最多提高0.94个百分点。同时,在自制的150例女性乳腺癌钼靶检查报告数据集上,融合多策略对比学习的标准化框架的准确率达到97.85%,性能最优。【局限】实验只在医疗数据集上展开,在其他领域的有效性需进一步研究。【结论】多策略的候选召回可以全面地考虑文本信息能够应对短文本挑战;对比学习的候选排序能够捕捉文本细微差距能够应对相似性高挑战;多头注意力的数量预测能够增强向量表示能够应对单蕴含与多蕴含挑战。融合多策略对比学习的中文医疗术语标准化方法为促进医学信息挖掘和临床研究提供了潜力。 展开更多
关键词 医疗术语标准化 多策略候选召回 对比学习 乳腺癌钼靶 检查报告
原文传递
基于超声检查报告的乳腺癌诊断知识图谱构建 被引量:3
6
作者 李小龙 孙水发 +2 位作者 唐庭龙 耿骞 吴义熔 《武汉大学学报(理学版)》 CAS CSCD 北大核心 2023年第1期69-78,共10页
乳腺癌电子病历承载着丰富的乳腺癌诊断和治疗信息。对这些病历文本进行知识抽取并构建相应的知识图谱,有助于面向乳腺癌诊断的智能化数据分析及辅助决策支持系统的构建。本文以乳腺癌超声检查报告为研究样本,在知识抽取、知识图谱构建... 乳腺癌电子病历承载着丰富的乳腺癌诊断和治疗信息。对这些病历文本进行知识抽取并构建相应的知识图谱,有助于面向乳腺癌诊断的智能化数据分析及辅助决策支持系统的构建。本文以乳腺癌超声检查报告为研究样本,在知识抽取、知识图谱构建和应用开展实例研究。结合乳腺癌诊疗指南和临床专家经验,构建了乳腺癌诊断知识图谱本体及概念层;基于BiLSTM-Attention-CRF模型,开展了针对超声检查报告的知识抽取工作,模型的准确率、召回率及F1值均达到了96%以上;最后,构建知识图谱并开展可视化分析、数据查询、辅助诊断等应用研究。结果表明,所构建的知识图谱在帮助提高电子病历数据质量、提升临床诊疗效果和改善医学决策性能等方面具有较大的应用价值。 展开更多
关键词 乳腺癌 知识图谱 知识抽取 可视化 辅助决策
原文传递
高速简单循环单元网络 被引量:2
7
作者 胡枫 吴义熔 +2 位作者 董方敏 邹耀斌 孙水发 《控制与决策》 EI CSCD 北大核心 2022年第2期493-498,共6页
基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highwaynetworks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和... 基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highwaynetworks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方面在SRU的单元状态表示中引入高速公路网络所采用的前馈链接思想,使网络对梯度变化更敏感;在此基础上,基于PTB(penn treebank dataset)和WikiText-2两个数据集构建语言模型,以验证所提方法的有效性.实验结果表明,所设计的高速简单循环单元网络H-SRU在保持SRU原有训练速度优势的同时,可较大地提高网络的性能.在WikiText-2数据集上所提方法的困惑度PPL值达到了26.1,这是目前已知最好效果,而且其效率也比已知的非SRU网络高. 展开更多
关键词 深度学习 循环神经网络 简单循环单元 高速公路网络 激活函数 梯度消失
原文传递
CAMU-Net:基于Attention U-Net的视网膜血管分割改进模型
8
作者 唐云飞 但志平 +4 位作者 洪郑天 陈永麟 程沛霖 成果 刘芳婷 《中国医学物理学杂志》 CSCD 2024年第8期960-968,共9页
提出一种改进的U-Net模型(CAMU-Net),以达到精准分割视网膜血管的目的。CAMU-Net模型通过添加残差增强模块来提取区域特征中的重要信息,增强模型对区域特征的了解;通过添加特征细化模块来促进特征的提取,提高新模型的全局特征收集能力;... 提出一种改进的U-Net模型(CAMU-Net),以达到精准分割视网膜血管的目的。CAMU-Net模型通过添加残差增强模块来提取区域特征中的重要信息,增强模型对区域特征的了解;通过添加特征细化模块来促进特征的提取,提高新模型的全局特征收集能力;通过添加通道注意力机制模块来捕捉图像特征,精确分割结果;通过引入多尺度特征融合结构来提升模型感知目标边界等细节的能力。在DRIVE数据集上进行消融实验,得出各模块的实际效果,验证各模块对于本模型视网膜血管分割各方面提升的作用;在DRIVE和STARE数据集上和其他主流网络模型进行对比分析,结果表明CAMU-Net模型优于其他模型。 展开更多
关键词 视网膜血管 图像分割 深度学习 CAMU-Net 注意力机制
下载PDF
基于边缘熵和局部FT分布的超声图像分割模型 被引量:2
9
作者 崔文超 徐德伟 +2 位作者 孙水发 潘志红 王习东 《图学学报》 CSCD 北大核心 2022年第2期263-272,共10页
由于采用高斯和瑞利分布描述超声图像均存在较大偏差,且分割过程缺乏超声图像边缘信息引导,致使其相应的局部高斯分布拟合(LGDF)模型和局部瑞利分布拟合(LRDF)模型对超声图像分割性能不理想。针对上述问题,提出了一种边缘熵加权的局部Fi... 由于采用高斯和瑞利分布描述超声图像均存在较大偏差,且分割过程缺乏超声图像边缘信息引导,致使其相应的局部高斯分布拟合(LGDF)模型和局部瑞利分布拟合(LRDF)模型对超声图像分割性能不理想。针对上述问题,提出了一种边缘熵加权的局部Fisher-Tippett(FT)分布拟合模型。该模型根据超声图像中目标和背景在局部区域满足不同的FT分布,利用最大后验概率(MAP)准则导出超声图像分割的最小化能量函数。该能量函数的求解采用水平集方法,且通过在长度正则化项中引入边缘熵构造加权函数,引导活动轮廓更好地捕获分割目标的弱边缘。通过大量真实超声图像实验验证了提出模型在局部FT分布拟合和边缘熵引入2方面的改进均能有效提升分割性能,且在定性和定量对比评价上均优于现有的多种超声图像分割方法。 展开更多
关键词 超声图像 边缘熵 Fisher-Tippett分布 活动轮廓 水平集方法
下载PDF
基于强化学习的对抗预训练语言建模方法
10
作者 颜俊琦 孙水发 +2 位作者 吴义熔 裴伟 董方敏 《中文信息学报》 CSCD 北大核心 2022年第4期20-28,共9页
在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决... 在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势:在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F 1值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。 展开更多
关键词 自然语言处理 预训练 语言模型 强化学习
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部