一种基于图注意力网络的异质信息网络表示学习框架 被引量：10

1

作者 康世泽 吉立新 张建朋 《电子与信息学报》 EI CSCD 北大核心 2021年第4期915-922,共8页

常用的异质信息网络有知识图谱和具有简单模式层的异质信息网络,它们的表示学习通常遵循不同的方法。该文总结了知识图谱和具有简单模式层的异质信息网络之间的异同,提出了一个通用的异质信息网络表示学习框架。该文提出的框架可以分为... 常用的异质信息网络有知识图谱和具有简单模式层的异质信息网络,它们的表示学习通常遵循不同的方法。该文总结了知识图谱和具有简单模式层的异质信息网络之间的异同,提出了一个通用的异质信息网络表示学习框架。该文提出的框架可以分为3个部分:基础向量模型,基于图注意力网络的传播模型以及任务模型。基础向量模型用于学习基础的网络向量;传播模型通过堆叠注意力层学习网络的高阶邻居特征;可更换的任务模型适用于不同的应用场景。与基准模型相比,该文所提框架在知识图谱的链接预测任务和异质信息网络的节点分类任务中都取得了相对不错的效果。 展开更多

关键词 异质信息网络 知识图谱 图注意力网络 表示学习

下载PDF 职称材料

基于异构图和关键词的抽取式文本摘要模型 被引量：1

2

作者 朱颀林 王羽 徐建 《电子科技大学学报》 EI CAS CSCD 北大核心 2024年第2期259-270,共12页

抽取式文本摘要使用一定的策略从冗长的文本中选择一些句子组成摘要,其关键在于要尽可能多地利用文本的语义信息和结构信息。为了更好地挖掘这些信息,进而利用它们指导摘要的抽取,提出了一种基于异构图和关键词的抽取式文本摘要模型(HGK... 抽取式文本摘要使用一定的策略从冗长的文本中选择一些句子组成摘要,其关键在于要尽可能多地利用文本的语义信息和结构信息。为了更好地挖掘这些信息,进而利用它们指导摘要的抽取,提出了一种基于异构图和关键词的抽取式文本摘要模型(HGKSum)。该模型首先将文本建模为由句子节点和词语节点构成的异构图,在异构图上使用图注意力网络学习节点的特征,之后将关键词抽取任务作为文本摘要任务的辅助任务,使用多任务学习的方式进行训练,得到候选摘要,最后对候选摘要进行精炼以降低冗余度,得到最终摘要。在基准数据集上的对比实验表明,该模型性能优于基准模型,此外,消融实验也证明了引入异构节点和关键词的必要性。 展开更多

关键词 抽取式文本摘要 异构图 关键词 图注意力网络 多任务学习

下载PDF 职称材料

基于异构图注意力网络的药物不良反应实体关系联合抽取研究 被引量：1

3

作者 仲雨乐 韩普 许鑫 《现代情报》 CSSCI 北大核心 2024年第9期71-81,共11页

[目的/意义]实体关系联合抽取是药物不良反应监测和知识组织的关键环节。为解决传统流水线抽取方法中误差传递、实体冗余和交互缺失问题,提升药物不良反应重叠三元组抽取效果,提出了一种基于异构图注意力网络的药物不良反应实体关系联... [目的/意义]实体关系联合抽取是药物不良反应监测和知识组织的关键环节。为解决传统流水线抽取方法中误差传递、实体冗余和交互缺失问题,提升药物不良反应重叠三元组抽取效果,提出了一种基于异构图注意力网络的药物不良反应实体关系联合抽取模型MF-HGAT。[方法/过程]首先通过BERT预训练进行外部医学语料资源的知识迁移,实现多语义特征融合;其次将关系信息作为先验知识引入为异构图节点,以避免提取语义无关实体;然后通过迭代融合异构图注意力网络消息传递机制增强字符与关系节点表示;最后在节点表示更新后抽取药物不良反应实体关系。[结果/结论]在自构建药物不良反应数据集上进行实验,发现融入关系信息和外部医疗健康领域知识的MF-HGAT联合抽取F1值达到了92.75%,较主流模型CasRel提升了5.29%。研究结果表明,MF-HGAT模型通过异构图注意力网络融合字符与关系节点语义,可有效解决药物不良反应实体关系重叠问题,对药物不良反应知识发现具有重要意义。 展开更多

关键词 异构图注意力网络 实体关系联合抽取 药物不良反应 关系重叠 知识发现

下载PDF 职称材料

融合帖文属性的性别歧视言论检测模型

4

作者 王小龙 王琰慧 +2 位作者 张顺香 汪才钦 周渝皓 《计算机科学》 CSCD 北大核心 2024年第6期338-345,共8页

性别歧视言论检测是通过自然语言处理技术来识别文本是否具有性别歧视的倾向,为净化网络环境提供有力支持。当前相关研究仅关注帖文本身,未对帖文属性(用户、帖文以及主题)间的关系进行挖掘。为此,提出一种融合帖文属性的性别歧视言论... 性别歧视言论检测是通过自然语言处理技术来识别文本是否具有性别歧视的倾向,为净化网络环境提供有力支持。当前相关研究仅关注帖文本身,未对帖文属性(用户、帖文以及主题)间的关系进行挖掘。为此,提出一种融合帖文属性的性别歧视言论检测模型,通过构建异构图来挖掘帖文属性间的关系。首先,利用ERNIE对帖文内容进行词嵌入,通过BiGRU模型提取上下文依赖关系,得到句子表征;然后,基于帖文属性关系构建异构图,并利用异构图注意力网络(Heterogeneous Graph Attention Network)得到帖文内容的关系表示;最后,融合帖文内容的关系表示与句子表征,通过Softmax函数进行分类。实验结果表明,所提模型可以提升性别歧视言论检测的准确率。 展开更多

关键词 性别歧视言论 帖文属性 BiGRU 异构图 异构图注意力网络

下载PDF 职称材料

基于改进多图卷积网络的液压泵小样本故障诊断

5

作者 郑直 赵文博 +4 位作者 李克 朱占辉 刘彤谣 孙杨 林帅恒 《振动与冲击》 EI CSCD 北大核心 2024年第24期59-67,83,共10页

多图卷积网络模型(multi-graph convolutional network, M-GCN)可将图像转为特征向量,并可利用图卷积操作增强同类节点聚集。由于受到现场空间和经济条件限制,无法有效地采集液压泵充足故障样本,导致小样本问题;当引入M-GCN模型对液压... 多图卷积网络模型(multi-graph convolutional network, M-GCN)可将图像转为特征向量,并可利用图卷积操作增强同类节点聚集。由于受到现场空间和经济条件限制,无法有效地采集液压泵充足故障样本,导致小样本问题;当引入M-GCN模型对液压泵的故障进行诊断时,该模型特征表达存在区分度不足和信息单一等问题。因此,该文提出了一种改进多图卷积网络模型,即MMH-GCN模型。首先,为解决模型特征提取区分度不足问题,引入掩码自编码器(masked autoencoder, MAE)降低编码维度并提取关键图像特征,提升模型的小样本诊断精度;然后,为解决模型特征信息单一问题,引入异构图注意力网络(heterogeneous graph attention network, HAN)提取更丰富和全面的图结构数据特征,以提升模型的小样本诊断精度和效率。通过液压泵实测故障试验验证分析可知,该文所提MMH-GCN模型较原模型具有明显的高效性和优越性,在诊断精度和效率方面分别提升了12.14%和14.63%。 展开更多

关键词 多图卷积网络 掩码自编码器 异构图注意力网络 小样本

下载PDF 职称材料

基于BERT-HAN增强人机对话的计算思维评估模型

6

作者 詹泽慧 钟煊妍 +1 位作者 邹萱萱 骆丽霞 《计算机工程》 CAS CSCD 北大核心 2024年第12期110-123,共14页

思维过程的精准量化和思维品质的高效诊断是思维型教学智能化开展的难题。现有的思维分析方法普遍存在静态局限性,割裂了事理逻辑和动态情境对思维的影响。人机对话作为思维外显和评估的重要载体,为计算思维自动化评估提供了潜在可能。... 思维过程的精准量化和思维品质的高效诊断是思维型教学智能化开展的难题。现有的思维分析方法普遍存在静态局限性,割裂了事理逻辑和动态情境对思维的影响。人机对话作为思维外显和评估的重要载体,为计算思维自动化评估提供了潜在可能。为提高人机对话环境下计算思维水平预测的准确性和可解释性,构建基于BERT-异质图注意力网络(HAN)的计算思维自动化评估模型。采集人机对话过程中所获取的时序性文本作为学习者计算思维的外部表征,通过BERT-HAN模型从人机对话文本数据中提取句子级语义特征表示,将这些特征作为异质图的节点特征输入到HAN中。模型耦合了基于余弦相似度的句子语义特征和基于关系词列表的元路径嵌入,进一步提取语句之间的语义关系。在此过程中,通过注意力机制生成学习节点间的关系权重,形成具有丰富语义信息的事理图谱。事理图谱的构建不仅考虑语句之间的直接关系,还可以基于多头注意力机制灵活捕捉并处理异质图中不同关系类型的特征。最终,根据这些特征,利用Softmax分类器进行计算思维水平的识别和预测,以实现自动化评估。实验结果表明,该模型的预测准确率为0.869,召回率为1,AUC值为0.998,相较于BERT、TextCNN、LSTM-HAN等模型具有更好的性能。 展开更多

关键词 人机对话 事理图谱 计算思维 文本分析 异质图注意力网络

下载PDF 职称材料

融合领域知识图谱的跨境民族文本聚类方法

7

作者 陈春吉 毛存礼 +3 位作者 张勇丙 黄于欣 高盛祥 郝鹏鹏 《中文信息学报》 CSCD 北大核心 2024年第3期84-92,共9页

跨境民族文本聚类任务旨在建立跨境民族不同文本间的关联关系,为跨境民族文本检索、事件关联分析提供支撑。但是跨境民族间文化文本表达差异大,加上文化表达背景缺失,导致跨境民族文本聚类困难。基于此,该文提出了融合领域知识图谱的跨... 跨境民族文本聚类任务旨在建立跨境民族不同文本间的关联关系,为跨境民族文本检索、事件关联分析提供支撑。但是跨境民族间文化文本表达差异大,加上文化表达背景缺失,导致跨境民族文本聚类困难。基于此,该文提出了融合领域知识图谱的跨境民族文本聚类方法,首先融入跨境民族领域知识图谱,实现对跨境民族文本数据的文化背景知识补充及实体语义关联,从而获得文本的增强局部语义;同时考虑到跨境民族文本数据中全局语义信息的重要性,采用异构图注意力网络提取文本、主题、领域关键词之间的全局特征信息;最后利用变分自编码网络进行局部信息和全局信息的融合,并利用学习到的潜在特征表示进行聚类。实验表明,提出方法较基线方法Acc提升11.4%,NMI提升1%,ARI提升9.4%。 展开更多

关键词 跨境民族 知识图谱 文本聚类 异构图注意力网络

下载PDF 职称材料

基于多维度异质图结构的代码注释自动生成 被引量：2

8

作者 戎珂瑶 熊贇 《计算机工程》 CAS CSCD 北大核心 2023年第4期240-248,共9页

代码注释能够增强源代码的可读性、辅助软件开发过程,因此代码注释自动生成任务成为研究热点。然而现有工作大多只利用了源代码的序列信息或抽象语法树信息,未能充分捕捉代码语言特有的多种特征。为进一步利用源代码的多维度特征,提升... 代码注释能够增强源代码的可读性、辅助软件开发过程,因此代码注释自动生成任务成为研究热点。然而现有工作大多只利用了源代码的序列信息或抽象语法树信息,未能充分捕捉代码语言特有的多种特征。为进一步利用源代码的多维度特征,提升注释生成的效果,构建基于多维度异质图结构的代码注释自动生成模型。利用异质图结构和图神经网络,将源代码的抽象语法树、控制流图、数据流图等进行融合并构建为具有多种节点和连边的异质表示图,以此表现代码的语义特征、序列特征、语法特征、结构特征等多维度特征。在真实数据集上的实验结果表明,该模型相较于Hybrid-DRL、NeuralCodeSum、SeqGNN等模型具有更好的效果,在BLEU-4、METEOR、ROUGE-L指标上分别最高提升1.6%、3.2%、3.1%,可获得更流畅、可读性更好的代码注释。 展开更多

关键词 代码注释生成 异质图 图注意力网络 神经机器翻译 多维度特征

下载PDF 职称材料

基于异质图注意力网络的重叠社区发现方法 被引量：1

9

作者 孙悦 赵宇红 薛婷 《计算机工程与设计》 北大核心 2023年第12期3649-3655,共7页

为解决异质网络重叠社区发现问题,提出一种基于异质图注意力网络的重叠社区发现模型。通过异质图注意力网络的双层注意力机制,从节点级与语义级充分挖掘节点、元路径在信息表示中的重要程度,并进行分层聚合获得节点特征向量,将伯努利-... 为解决异质网络重叠社区发现问题,提出一种基于异质图注意力网络的重叠社区发现模型。通过异质图注意力网络的双层注意力机制,从节点级与语义级充分挖掘节点、元路径在信息表示中的重要程度,并进行分层聚合获得节点特征向量,将伯努利-泊松模型与图卷积网络整合,在生成社区隶属关系矩阵的基础上优化社区重叠度进行重叠社区划分。模型改变异质图注意力网络的激活函数,改善梯度消失问题,将异质图注意力网络与伯努利-泊松模型结合实现异质网络的重叠社区发现。使用真实数据集进行实验,实验结果表明,模型可以利用异质网络节点信息多样性进行重叠社区发现,相对传统社区发现方法具备较好的稳定性和准确性。 展开更多

关键词 重叠社区发现 异质网络 异质图注意网络 元路径 图卷积神经网络 伯努利-泊松模型 社区隶属矩阵

下载PDF 职称材料

基于元图注意力网络的异质信息网络链路预测方法 被引量：3

10

作者 吴铮 陈鸿昶 张建朋 《信息工程大学学报》 2022年第1期66-72,共7页

由于元路径存在节点之间语义信息模糊、联通性不强的缺陷,现有的基于元路径的异质信息网络链路预测方法不足以很好地捕捉复杂的结构信息和丰富的语义信息,从而影响链路预测性能的提升。为解决此问题,提出基于元图注意力网络的异质信息... 由于元路径存在节点之间语义信息模糊、联通性不强的缺陷,现有的基于元路径的异质信息网络链路预测方法不足以很好地捕捉复杂的结构信息和丰富的语义信息,从而影响链路预测性能的提升。为解决此问题,提出基于元图注意力网络的异质信息网络链路预测方法,综合利用元图内节点层面和元图间语义层面两种注意力机制学习节点向量表示,进而用学习到的节点向量表示进行链路预测。真实世界数据集上的实验结果表明,与最新的基准方法相比,所提方法可显著提高异质信息网络链路预测性能。 展开更多

关键词 异质信息网络 链路预测 元图注意力网络

下载PDF 职称材料

基于异构图注意力网络的药物相互作用预测 被引量：2

11

作者 胡鹏 阚红星 +1 位作者 王永康 韩啸 《中国医疗设备》 2023年第5期110-114,124,共6页

目的探讨利用药物及其对应的多组学数据构建异构图,使用异构图注意力网络进行药物相互作用预测的可行性。方法搜集存在相互作用的药物及其4种组学信息(药物基因组学、药物代谢组学、药物转录组学和药物蛋白质组学),以及药物相互作用信... 目的探讨利用药物及其对应的多组学数据构建异构图,使用异构图注意力网络进行药物相互作用预测的可行性。方法搜集存在相互作用的药物及其4种组学信息(药物基因组学、药物代谢组学、药物转录组学和药物蛋白质组学),以及药物相互作用信息。使用药物及4种组学信息构造异构图,通过异构图注意力网络学习异构图的拓扑信息,得到药物节点嵌入,输入到分类器中预测药物之间潜在的相互作用类型。结果在相同的实验条件下,与其他先进方法进行对比,本文模型在F1分数和准确度方面均有提升,准确度超过93%,F1分数超过84%。结论本实验模型准确度和鲁棒性较高,可以作为一种可靠的药物相互作用预测方法。 展开更多

关键词 药物相互作用 多组学数据 异构图注意力网络 深度学习

下载PDF 职称材料

基于事件-词语-特征异质图的微博谣言检测新方法

12

作者 王友卫 凤丽洲 +1 位作者 王炜琦 侯玉栋 《中文信息学报》 CSCD 北大核心 2023年第9期161-174,共14页

当前微博谣言检测研究大多基于微博原文、评论内容及其相互关系,忽略了情感特征、语法特征及语言特征等重要因素的影响。为此,该文提出了一种基于事件-词语-特征异质图的微博谣言检测新方法。首先,在传统方法基础上引入情感、语法、心... 当前微博谣言检测研究大多基于微博原文、评论内容及其相互关系,忽略了情感特征、语法特征及语言特征等重要因素的影响。为此,该文提出了一种基于事件-词语-特征异质图的微博谣言检测新方法。首先,在传统方法基础上引入情感、语法、心理等方面的知识,提出文本特征的概念以有效挖掘微博事件中蕴含的情感特征、语法特征以及语言特征。然后,综合微博评论、文本词语及文本特征对谣言检测结果的影响,构建用于谣言检测的事件-词语-特征异质图。最后,利用GraphSAGE和异质图注意力网络在节点表达方面的优势提出新的节点信息聚合方法,以此在区分节点类型重要性的同时降低节点集规模带来的影响。实验结果表明,该方法能有效提高微博事件表示的准确性;相对于传统机器学习方法和典型的深度学习方法而言,该方法在谣言检测精度上具有明显优势。 展开更多

关键词 谣言检测 文本特征 异质图注意力网络

下载PDF 职称材料

基于异构图注意力网络的微博谣言监测模型 被引量：5

13

作者 毕蓓 潘慧瑶 +3 位作者 陈峰 隋京言 高扬 王耀君 《计算机应用》 CSCD 北大核心 2021年第12期3546-3550,共5页

社交媒体方便了人们的日常交流和信息传播,同时也是谣言滋生和传播的温床,因此如何在谣言传播早期自动监测极具现实意义,而现有的检测方法没有充分利用微博信息传播图的语义信息。为了解决这个问题,基于异构图注意力网络(HAN)构建了谣... 社交媒体方便了人们的日常交流和信息传播,同时也是谣言滋生和传播的温床,因此如何在谣言传播早期自动监测极具现实意义,而现有的检测方法没有充分利用微博信息传播图的语义信息。为了解决这个问题,基于异构图注意力网络(HAN)构建了谣言监测模型MicroBlog-HAN。该模型采用含有节点级注意力和语义级注意力的分层注意力机制。首先,节点级注意力结合微博节点的邻居生成两组具有特定语义的节点嵌入;然后,语义级注意力融合不同语义,得到最终的节点嵌入,并输入到分类器中执行二分类任务;最后,给出输入微博是谣言还是非谣言的分类结果。在两个真实的微博谣言数据集上的实验结果表明,MicroBlog-HAN模型可以实现微博谣言较准确的识别,准确率超过87%。 展开更多

关键词 微博 谣言监测 异构图 元路径 异构图注意力网络

下载PDF 职称材料

基于胶囊异构图注意力网络的中文表格型数据事实验证

14

作者 杨鹏 查显宇 +1 位作者 赵广振 林茜 《软件学报》 EI CSCD 北大核心 2024年第9期4324-4345,共22页

事实验证旨在检查一个文本陈述是否被给定的证据所支持.由于表格结构上具有依赖性、内容上具有隐含性,以表格作为证据的事实验证任务仍面临很多挑战.现有工作或者利用逻辑表达式来解析基于表格证据的陈述,或者设计表格感知神经网络来编... 事实验证旨在检查一个文本陈述是否被给定的证据所支持.由于表格结构上具有依赖性、内容上具有隐含性,以表格作为证据的事实验证任务仍面临很多挑战.现有工作或者利用逻辑表达式来解析基于表格证据的陈述,或者设计表格感知神经网络来编码陈述-表格对,以此实现基于表格的事实验证任务.但是,这些方法没有充分利用陈述背后隐含的表格信息,从而导致模型的推理性能下降,并且基于表格证据的中文陈述具有更加复杂的语法和语义,也给模型推理带来更大的困难.为此,提出基于胶囊异构图注意力网络(CapsHAN)的中文表格型数据事实验证方法,所提方法能充分理解陈述的结构和语义,进而挖掘和利用陈述所隐含的表格信息,有效提升基于表格的事实验证任务准确性.具体而言,首先通过对陈述进行依存句法分析和命名实体识别来构建异构图,接着对该图采用异构图注意力网络和胶囊图神经网络进行学习和理解,然后将得到的陈述文本表示与经过编码的表格文本表示进行拼接,最后完成结果的预测.更进一步,针对现有中文表格型事实验证数据集匮乏而难以支持基于表格的事实验证方法性能评价的难题,首先对主流TABFACT和INFOTABS表格事实验证英文数据集进行中文转化,并且专门针对中文表格型数据的特点构建了基于UCL国家标准的数据集UCLDS,该数据集将维基百科信息框作为人工注释的自然语言陈述的证据,并被标记为蕴含、反驳或中立3类.UCLDS在同时支持单表和多表推理方面比传统TABFACT和INFOTABS数据集更胜一筹.在上述3个中文基准数据集上的实验结果表明,所提模型的表现均优于基线模型,证明该模型在基于中文表格的事实验证任务上的优越性. 展开更多

关键词 基于表格的事实验证 异构图注意力网络 胶囊图神经网络 依存句法分析 命名实体识别

下载PDF 职称材料

基于全局图注意力元路径异构网络的药物-疾病关联预测

15

作者 郁湧 杨雨洁 +2 位作者 李虓晗 高悦 于倩 《电子科技大学学报》 EI CAS CSCD 北大核心 2024年第4期576-583,共8页

提出了一个基于全局图注意力元路径异构网络模型(MHNGA)来进行药物-疾病关联预测。首先,收集整理药物和疾病数据,将已知的药物-疾病关联、药物相似性、疾病相似性构建为一个异构网络;其次,引入多个基于元路径的子图,使用图注意力神经网... 提出了一个基于全局图注意力元路径异构网络模型(MHNGA)来进行药物-疾病关联预测。首先,收集整理药物和疾病数据,将已知的药物-疾病关联、药物相似性、疾病相似性构建为一个异构网络;其次,引入多个基于元路径的子图,使用图注意力神经网络提取这些子图的邻居节点的特征,并且通过通道注意力和空间注意力机制来增强特征;最后,通过十折交叉验证的评估,MHNGA取得了93.5%的精确召回曲线下的面积和99.4%的准确率。 展开更多

关键词 异构图 药物-疾病关联 预测 图注意力神经网络 元路径

下载PDF 职称材料

基于异质图卷积注意网络的社交媒体账号分类 被引量：1

16

作者 陈周国 丁建伟 +1 位作者 明杨 费高雷 《计算机系统应用》 2023年第7期269-275,共7页

由于社交媒体网络的复杂性,单一性质的同质信息网络对社交媒体账号分类会造成信息丢失,对分类结果产生不利影响.针对这种问题,本文提出基于异质图卷积注意网络的社交媒体账号分类方法(HGCANA).首先构建社交媒体的异质信息网络,然后提取... 由于社交媒体网络的复杂性,单一性质的同质信息网络对社交媒体账号分类会造成信息丢失,对分类结果产生不利影响.针对这种问题,本文提出基于异质图卷积注意网络的社交媒体账号分类方法(HGCANA).首先构建社交媒体的异质信息网络,然后提取异质信息网络的社交媒体特征,引入注意力机制,对社交媒体账号进行分类识别.通过实验比较HGCANA方法与现有方法,证明了本文提出的HGCANA方法能够更好地对社交网络媒体账号进行有效分类. 展开更多

关键词 社交媒体网络 账号分类 异质图卷积注意网络

下载PDF 职称材料