基于异质图表达学习的跨境电商推荐模型 被引量：4

1

作者 张瑾 朱桂祥 +2 位作者 王宇琛 郑烁佳 陈镜潞 《电子与信息学报》 EI CSCD 北大核心 2022年第11期4008-4017,共10页

跨境电商产品推荐已经成为电子商务领域新兴的研究议题之一。由于电商产品信息复杂多样、“用户-产品”关联矩阵极为稀疏并且冷启动问题突出,因此传统的协同过滤推荐模型很难奏效。而改进的深度协同过滤模型,只考虑了用户对产品的“显... 跨境电商产品推荐已经成为电子商务领域新兴的研究议题之一。由于电商产品信息复杂多样、“用户-产品”关联矩阵极为稀疏并且冷启动问题突出,因此传统的协同过滤推荐模型很难奏效。而改进的深度协同过滤模型,只考虑了用户对产品的“显式”和“隐式”的反馈信息,忽视了由用户与项目组成的图结构信息,推荐性能很难满足平台和用户的要求。为了解决这些难题,该文提出基于异质图表达学习的图神经网络模型(HGNR)用于个性化的跨境电商产品推荐,该模型具有2个显著的优势:(1)构造“用户-产品-主题”3部图作为模型的输入,通过图卷积神经网络(GCN)在异质图上进行高质量信息传播和聚合;(2)能够获取高质量的用户和产品表征向量,实现了用户和产品复杂交互关系的建模。在真实的跨境电商订单数据集上的实验结果表明,HGNR模型不仅在推荐性能上表现出色,还能有效提升冷启动用户的推荐准确率,与9种推荐基准算法相比,HGNR在评价指标HitRate@10,Item-coverage@10,MRR@10上至少提升了3.33%,0.91%,0.54%。 展开更多

关键词 推荐系统 图神经网络 异质图神经网络 冷启动推荐 跨境电商

下载PDF 职称材料

基于自监督异质图神经网络的图分类框架

2

作者 袁鸣 赵彤 《中国科学院大学学报（中英文）》 CAS CSCD 北大核心 2024年第6期830-841,共12页

图数据以各种各样的形式广泛存在着,图分类任务对于许多问题有重要指导意义。然而图分类任务依然面临很多挑战,包括如何充分利用图结构蕴含的语义信息、进一步降低计算复杂度及获取标签的成本。提出一种超节点异质网络的构建方法,并由... 图数据以各种各样的形式广泛存在着,图分类任务对于许多问题有重要指导意义。然而图分类任务依然面临很多挑战,包括如何充分利用图结构蕴含的语义信息、进一步降低计算复杂度及获取标签的成本。提出一种超节点异质网络的构建方法,并由此提出可应用于图分类问题的新型框架GChgnn。该框架通过引入双视角的图表示机制以及自监督的对比学习,实现了:1)对大规模图分类任务目标间的相似性进行度量;2)借鉴图匹配方法,通过跨图思想提高相似性度量的准确度,并弥补其无法给出图嵌入显式表达式的不足;3)规避了在网络中设计复杂的卷积与池化算子。通过在一些公开数据集上的测试证明,该框架的综合效果优于现有的解决图分类问题的其他方法。 展开更多

关键词 图分类 异质图神经网络 自监督学习 对比学习

下载PDF 职称材料

多阶元路径引导的异质图神经网络新闻推荐模型

3

作者 王菲菲 林中潭 +3 位作者 吴昆 韩树庭 孙立博 吕晓玲 《系统工程理论与实践》 EI CSSCI CSCD 北大核心 2024年第5期1561-1576,共16页

新闻推荐是一种重要的推荐场景,其推荐效果依赖于对新闻文本信息的充分挖掘.近年来,图神经网络因其强大的高阶信息挖掘能力,在推荐领域受到了广泛关注.然而,在新闻推荐领域,鲜有研究使用异质图神经网络,而且现有的异质图推荐模型也存在... 新闻推荐是一种重要的推荐场景,其推荐效果依赖于对新闻文本信息的充分挖掘.近年来,图神经网络因其强大的高阶信息挖掘能力,在推荐领域受到了广泛关注.然而,在新闻推荐领域,鲜有研究使用异质图神经网络,而且现有的异质图推荐模型也存在信息损失问题.为了充分挖掘新闻推荐场景中新闻、用户、主题、实体、类别等之间的高阶信息,更充分的挖掘新闻的文本特征,本文提出针对新闻推荐场景的多阶元路径引导的异质图神经网络推荐模型(简称MPNRec).该模型通过构建含有更多类型节点和边的异质图充分挖掘高阶信息,从而提高推荐效果.该方法在MIND small和Adressa 1week两个公开数据集上应用,较现有各种推荐方法在各项评价指标上至少能达到2%到5%的相对提升. 展开更多

关键词 新闻推荐 异质图神经网络 元路径 注意力机制

原文传递

电子文献资源的推荐方法研究 被引量：4

4

作者 李阔 《电子技术与软件工程》 2019年第22期170-172,共3页

本文介绍了目前对于电子文献资源、图书资源的推荐算法研究,阐述了基于Word2Vec的推荐算法和基于TF-IDF的推荐算法原理。根据推荐系统最新的研究进展,结合目前最新的多源异构数据嵌入框架异质图神经网络(HeterogeneousGraphNeural Netwo... 本文介绍了目前对于电子文献资源、图书资源的推荐算法研究,阐述了基于Word2Vec的推荐算法和基于TF-IDF的推荐算法原理。根据推荐系统最新的研究进展,结合目前最新的多源异构数据嵌入框架异质图神经网络(HeterogeneousGraphNeural Network),提出了对多种数据类型电子文献资源进行推荐的方法,该方法在多源异构数据上进行推荐优于目前的其他方法。 展开更多

关键词 推荐系统 推荐算法 基于内容的推荐 Word2Vec TF-IDF 异质图神经网络

下载PDF 职称材料

基于联邦学习的主动半监督短文本分类方法

5

作者 孔德焱 冀振燕 +2 位作者 杨燕燕 刘洋 刘吉强 《电子学报》 EI CAS CSCD 北大核心 2024年第10期3517-3526,共10页

短文本分类应用广泛,是当前的研究热点,但受到短文本标注数据稀缺和数据隐私保护不便集中训练的影响,分类效果不佳.针对上述问题,我们提出了基于联邦学习的主动半监督异质图注意力网络模型(Active Semi-Supervised Learning empowered H... 短文本分类应用广泛,是当前的研究热点,但受到短文本标注数据稀缺和数据隐私保护不便集中训练的影响,分类效果不佳.针对上述问题,我们提出了基于联邦学习的主动半监督异质图注意力网络模型(Active Semi-Supervised Learning empowered Heterogeneous Graph ATtention network model based on Federated learning,Fed-ASSL-HGAT),通过设计新颖的主动半监督学习(Active Semi-Supervised Learning,ASSL)框架生成高质量标注样本赋能异质图注意力网络(Heterogeneous Graph ATttention network model,HGAT),引入联邦学习对部署在不同节点的模型进行联合训练以满足数据隐私保护需求.所提出的ASSL框架通过将主动学习的多类别标注转化成二元类别标注,可大大降低标注难度;设计基于信息增益的选择策略筛选软、硬标签,以防止信息损失;通过半监督学习选择高准确率、高稳定性的正负样本打伪标签以确保标注质量.实验结果表明,所提出的ASSL-HGAT(S)在AGNews、Snippets、TagMyNews数据集上相比HGAT基线模型F1值分别提升2.45%、8.11%、7.46%.融合联邦学习所进一步提出的Fed-ASSL-HGAT模型可在不泄漏隐私数据的情况下满足性能要求. 展开更多

关键词 异质图神经网络 主动学习 半监督学习 联邦学习

下载PDF 职称材料

基于异质图神经网络的知识增强文本理解研究

6

作者 凌骏 赵前 +1 位作者 张帆 李倩倩 《计算机与数字工程》 2024年第4期1125-1130,共6页

针对当下流行的语言模型如BERT,即使其在大量文本下预训练而具有了较好的文本理解能力,但由于文本中知识共现的稀疏性导致模型难以理解复杂语义的场景的问题,提出一种引入知识图谱结合异质图网络增强文本理解的方法。该方法根据文本中... 针对当下流行的语言模型如BERT,即使其在大量文本下预训练而具有了较好的文本理解能力,但由于文本中知识共现的稀疏性导致模型难以理解复杂语义的场景的问题,提出一种引入知识图谱结合异质图网络增强文本理解的方法。该方法根据文本中的实体构造异质图,并基于边采样机制生成子视图。引入R-GCN聚合异质子视图下的邻居信息,并约束同节点在不同视图下基于相似性的度量损失。最终得到知识增强的文本表示。在公开数据集WinoGrande上的结果表明,该方法在准确率指标下有着明显的提升,相比于未增强时提升了1.3%。 展开更多

关键词 知识图谱 异质图神经网络 预训练语言模型 文本理解 自然语言处理

下载PDF 职称材料

基于异质图神经网络预训练的多标签文档分类研究

7

作者 吴家伟 方全 +1 位作者 胡骏 钱胜胜 《计算机科学》 CSCD 北大核心 2024年第1期143-149,共7页

多标签文档分类是一种将文档实例与相关标签相关联的技术,近年来受到越来越多研究者的关注。现有的多标签文档分类方法尝试探索文本之外的信息的融合,如文档元数据或标签结构。然而,这些方法要么简单地利用元数据的语义信息,要么没有考... 多标签文档分类是一种将文档实例与相关标签相关联的技术,近年来受到越来越多研究者的关注。现有的多标签文档分类方法尝试探索文本之外的信息的融合,如文档元数据或标签结构。然而,这些方法要么简单地利用元数据的语义信息,要么没有考虑标签的长尾分布,因此忽略了文档及其元数据之间的高阶关系和标签的分布规律等信息,从而影响到多标签文档分类的准确性。因此,文中提出一种新的基于异质图神经网络预训练的多标签文档分类方法。该方法通过构造文档与其元数据的异质图,采用两种对比学习预训练方法捕获文档与其元数据之间的关系,并通过平衡标签长尾分布的损失函数来提高多标签文档分类的准确性。在基准数据集上的实验结果表明,所提方法的准确率比Transformer提高了8%,比BertXML提高了4.75%,比MATCH提高了1.3%。 展开更多

关键词 多标签文档分类 元数据 异质图神经网络 预训练 长尾分布

下载PDF 职称材料

基于异质图属性增强的恶意软件变种检测方法

8

作者 孙锦涛 李祺 李晓龙 《四川大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第3期15-29,共15页

如今越来越多的攻击者通过修改恶意软件源码的方式逃避恶意软件检测,恶意软件变种在代码重用、编码风格、攻击行为等多方面的复杂关系为恶意软件分析带来了挑战.近年来,图神经网络凭借其在建模图结构数据,学习实体间复杂关系等方面的强... 如今越来越多的攻击者通过修改恶意软件源码的方式逃避恶意软件检测,恶意软件变种在代码重用、编码风格、攻击行为等多方面的复杂关系为恶意软件分析带来了挑战.近年来,图神经网络凭借其在建模图结构数据,学习实体间复杂关系等方面的强大能力,已被广泛应用于恶意软件分类与检测任务之中,以建模恶意软件及其变种间复杂的关系,摆脱孤立分析困境.然而,现有方法一方面缺少对恶意软件及其变种间多维度复杂关系的全面表征,导致复杂关联关系未被充分挖掘及利用.另一方面仅关注恶意软件间的拓扑结构,忽略了实体语义信息,这导致攻击者极易通过对抗手段伪造特征从而逃过检测.此外,与恶意软件相关的Windows API、通信IP等实体自身匮乏的语义信息进一步阻碍了语义信息的提取和表示.因此,实现恶意软件间全面的关联关系与特征语义信息的融合对提升恶意软件变种检测的鲁棒性和准确性具有重要意义.为此,本文提出了一种基于异质图属性增强的恶意软件变种检测方法.首先,构建了一个恶意软件异质信息网络,以建模恶意软件及特征间的复杂关系;然后,通过恶意软件异质信息网络,将恶意软件变种检测问题转化为异质图中的节点分类问题,为实体节点构建语义属性来增强节点信息的表示;接下来,对于其中语义信息匮乏的实体节点,从外部开源数据中学习实体的语义信息来弥补自身的语义缺失;最后,本文以拓扑关系为指导,基于注意力机制聚合有属性节点信息以补全无属性节点,实现节点属性补全.遵循一种迭代优化方式,以交替式地优化补全过程与异质图节点嵌入过程,实现统一的基于异质图属性补全的恶意软件变种检测方法.实验结果表明,本文提出的方法能够有效提升恶意软件变种检测的性能,在多个数据集下优于其他最先进的模型. 展开更多

关键词 恶意软件变种检测 异质图神经网络 特征增强 属性补全

下载PDF 职称材料

基于Transformer与异质图神经网络的新闻推荐模型 被引量：4

9

作者 张玉朋 李香菊 +1 位作者 李超 赵中英 《模式识别与人工智能》 EI CSCD 北大核心 2022年第9期839-848,共10页

新闻推荐方法大多假定用户浏览的新闻之间具有很强的时序依赖关系,但新闻具有更新的快速性及用户阅读的自由性等特点,使时序性建模中可能会引入噪音.为了解决此问题,文中提出基于Transformer与异质图神经网络的新闻推荐模型.采用Transfo... 新闻推荐方法大多假定用户浏览的新闻之间具有很强的时序依赖关系,但新闻具有更新的快速性及用户阅读的自由性等特点,使时序性建模中可能会引入噪音.为了解决此问题,文中提出基于Transformer与异质图神经网络的新闻推荐模型.采用Transformer从用户近期浏览的新闻中对用户的短期兴趣进行建模,通过异质图神经网络捕捉用户和新闻之间的高阶关系,建模用户长期兴趣和候选新闻的表示.同时,为了自适应调整短期兴趣和长期兴趣在用户建模时的重要性,设计用户长短期兴趣感知的点击预测机制.在真实数据集上的对比实验验证文中模型的有效性. 展开更多

关键词 新闻推荐 异质图神经网络 注意力机制 TRANSFORMER

下载PDF 职称材料

考虑多输入转换效应的时序建模

10

作者 丁文杰 姜海洋 +1 位作者 张展华 曹鹏 《集成电路与嵌入式系统》 2024年第1期32-38,共7页

随着集成电路工艺的不断发展,因电路工作主频的提升和工艺偏差影响的加剧,导致多输入转换(MIS)效应对电路静态时序分析的影响愈发不容忽视,使得传统的单输入转换(SIS)模式单元时序建库方式难以规避保持时间和建立时间的违规。为了表征MI... 随着集成电路工艺的不断发展,因电路工作主频的提升和工艺偏差影响的加剧,导致多输入转换(MIS)效应对电路静态时序分析的影响愈发不容忽视,使得传统的单输入转换(SIS)模式单元时序建库方式难以规避保持时间和建立时间的违规。为了表征MIS效应在时序分析中的影响,近年来多个MIS延时模型被提出,但目前大多数模型忽略了输入转换时间和负载对MIS效应的影响,因此精度不高。同时这些模型分别对每个单元进行建模,忽略了MIS效应与单元的晶体管级拓扑结构的关系,进一步影响了表征精度且需要较高表征成本。本文提出了一种基于异质图神经网络的MIS单元延时预测框架,将多输入单元的晶体管级拓扑电路建模成为异质图,利用异质图对影响MIS延时因素进行了全面且有效的表征,多个输入门的MIS效应可以训练为统一模型。在16 nm工艺下,该模型在多组多输入单元上进行了验证。实验结果表明,该模型在将建模开销减少至ANN模型所需开销8.8%的情况下,对于单元的平均误差仅为1.19%,相比ANN模型,精度提高了2.05倍。 展开更多

关键词 多输入转换 异质图神经网络 单元延时模型 静态时序分析

下载PDF 职称材料

大粒度Pull Request描述自动生成 被引量：2

11

作者 邝砾 施如意 +2 位作者 赵雷浩 张欢 高洪皓 《软件学报》 EI CSCD 北大核心 2021年第6期1597-1611,共15页

在GitHub平台中,许多项目贡献者在提交Pull Request(PR)时往往会忽略提交PR描述,这使得提交的PR容易被评审者忽略或者拒绝.因此,自动生成PR描述以帮助项目贡献者提高PR通过率是很有必要的.然而,现有PR描述生成方法的表现会受到PR粒度影... 在GitHub平台中,许多项目贡献者在提交Pull Request(PR)时往往会忽略提交PR描述,这使得提交的PR容易被评审者忽略或者拒绝.因此,自动生成PR描述以帮助项目贡献者提高PR通过率是很有必要的.然而,现有PR描述生成方法的表现会受到PR粒度影响,无法有效为大粒度的PR生成描述.因此,该工作专注于大粒度PR描述的自动生成.首先对PR中的文本信息进行预处理,将文本中的单词作为辅助节点构建词-句异质图,以建立PR语句间的联系;随后对异质图进行特征提取,并将提取后的特征输入至图神经网络进行图表示学习,通过节点间的消息传递,使句子节点学习到更丰富的内容信息;最后,选择带有关键信息的句子组成PR描述.此外,针对PR数据集缺少人工标注的真实标签而无法进行监督学习的问题,使用强化学习指导PR描述的生成,以最小化获得奖励的负期望为目标训练模型,该过程与标签无关,并且直接提升了生成结果的表现.在真实的数据集上进行了实验,实验结果表明,提出的大粒度PR描述生成方法在F1值和可读性上优于现有方法. 展开更多

关键词 Pull Request描述 异质图神经网络 强化学习 非结构性文档 摘要生成

下载PDF 职称材料