基于注意力机制和辅助任务的语义分割算法 被引量：7

1

作者 叶剑锋 徐轲 +1 位作者 熊峻峰 王化明 《计算机工程》 CAS CSCD 北大核心 2021年第9期203-209,216,共8页

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在... 为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。 展开更多

关键词 注意力机制 辅助任务 辅助损失 多任务学习 语义分割

下载PDF 职称材料

基于机器学习的演化多任务优化框架 被引量：1

2

作者 麦伟杰 刘伟莉 钟竞辉 《计算机学报》 EI CAS CSCD 北大核心 2024年第1期29-51,共23页

演化多任务优化是近年来计算智能领域的研究热点之一,其原理是通过任务间的知识转移提高演化算法同时求解多个任务的效率.由于任务间相似性对促进任务之间的正向知识转移具有重要的影响,因此,如何度量任务间的相似性成为了重点研究方向... 演化多任务优化是近年来计算智能领域的研究热点之一,其原理是通过任务间的知识转移提高演化算法同时求解多个任务的效率.由于任务间相似性对促进任务之间的正向知识转移具有重要的影响,因此,如何度量任务间的相似性成为了重点研究方向之一.目前,演化多任务优化在处理两个任务时,辅助任务的选取仅限于两者之一,且在处理超多任务时对任务间知识的转移缺乏灵活性.为此,本文提出一个基于机器学习的演化多任务优化框架,命名为MaTML.该框架联合所有任务关联的子种群形成一个统一的初始化种群,利用目标任务的技能因子及其对应的种群个体分别构建标签和训练集,应用十折交叉法拟合模型,并运用模型预测与目标任务相似的个体以组成辅助种群,从而促进演化优化中的正向知识转移.本文提出的算法能够在动态的种群个体中找到目标任务的辅助种群,不仅可以为三个或以上的多任务优化灵活地选取相似辅助任务,而且解决了当任务数量为两个时有效地选择辅助任务的问题.通过与现阶段的多任务算法和超多任务算法分别在CEC2017问题测试集和WCCI2020SO问题测试集进行比较,实验结果证实MaTML在优化多任务问题时具有更优或竞争性的性能.此外,文中还详细研究了MaTML的计算资源、模型性能、模型稳定性以及相关组件.最后,本文还基于真实问题的测试进一步验证了MaTML的有效性. 展开更多

关键词 演化多任务优化 机器学习 任务间相似性 知识转移 辅助任务

下载PDF 职称材料

基于多任务学习的短文本实体链接方法 被引量：6

3

作者 詹飞 朱艳辉 +4 位作者 梁文桐 张旭 欧阳康 孔令巍 黄雅淋 《计算机工程》 CAS CSCD 北大核心 2022年第3期315-320,共6页

实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于短文本的上下文语境不丰富、表达不正式、语法结构不完整等特点,现有的短文本实体链接方法准确率较低。提出一种... 实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于短文本的上下文语境不丰富、表达不正式、语法结构不完整等特点,现有的短文本实体链接方法准确率较低。提出一种新的短文本实体链接方法,将多任务学习方法引入短文本实体链接过程中,从而增强短文本实体链接方法的效果。在此基础上,构建多任务学习模型,将短文本实体链接作为主任务,并引入实体分类作为辅助任务,促使模型学习到更加通用的底层表达,提高模型的泛化能力,优化模型在短文本实体链接任务中的表现。在CCKS2020测评任务2提供的数据集上的实验结果表明,辅助任务的引入能够缓解短文本实体链接过程中信息不充分的问题,且该多任务学习模型的F值为0.894 9,优于基于BERT编码器的单任务实体链接模型。 展开更多

关键词 短文本实体链接 多任务学习 实体分类 辅助任务 底层表达

下载PDF 职称材料

基于图辅助学习的会话推荐

4

作者 唐廷杰 黄佳进 秦进 《计算机应用》 CSCD 北大核心 2024年第9期2711-2718,共8页

针对现有的自监督对比任务未能充分利用原始数据中的丰富语义以及缺乏通用性的问题,提出一种基于图辅助学习的会话推荐(SR-GAL)模型。首先,在图神经网络(GNN)的基础上引入具有表示一致性(RC)的编码通道,从原始数据中挖掘更有价值的自监... 针对现有的自监督对比任务未能充分利用原始数据中的丰富语义以及缺乏通用性的问题,提出一种基于图辅助学习的会话推荐(SR-GAL)模型。首先,在图神经网络(GNN)的基础上引入具有表示一致性(RC)的编码通道,从原始数据中挖掘更有价值的自监督信号;其次,为了充分利用这些自监督信号,设计了与目标任务关系紧密的预测性辅助任务和约束性辅助任务;最后,开发了一个简单且与GNN模型无关的辅助学习框架,将两个辅助任务与推荐任务统一起来,从而提高GNN模型的推荐性能。与次优的对比模型CGSNet(Contrastive Graph Self-attention Network)相比,在Diginetica数据集上,所提模型的精确率P@20和平均倒数排名MRR@20提升了0.58%和1.61%;在Tmall数据集上,所提的模型的P@20和MRR@20分别提升了12.65%和8.41%,验证了该模型的有效性。在多个真实数据集上的实验结果表明,SR-GAL模型优于较先进的模型,并且具有良好的可扩展性和通用性。 展开更多

关键词 推荐系统 会话推荐 图神经网络 辅助任务 自监督学习

下载PDF 职称材料

联合实体边界检测的命名实体识别方法 被引量：1

5

作者 李晓腾 勾智楠 高凯 《河北科技大学学报》 CAS 北大核心 2023年第1期20-28,共9页

针对传统命名实体识别方法无法有效利用实体边界信息的问题,提出一种联合实体边界检测的命名实体识别方法,即将实体边界检测作为辅助任务,增强模型对实体边界的判断能力,进而提升模型对实体的识别效果。首先,利用Bert预训练语言模型对... 针对传统命名实体识别方法无法有效利用实体边界信息的问题,提出一种联合实体边界检测的命名实体识别方法,即将实体边界检测作为辅助任务,增强模型对实体边界的判断能力,进而提升模型对实体的识别效果。首先,利用Bert预训练语言模型对原始文本进行特征嵌入获取词向量,并引入自注意力机制增强词对上下文信息的利用;其次,在命名实体识别任务的基础上,添加实体边界检测辅助任务,增强模型对实体边界的识别能力;再次,对比联合实体边界检测的命名实体识别方法与基线方法的有效性,并对测试结果进行消融实验;最后,进行样例分析,分析损失权重β对实体边界检测的影响。实验结果表明,在英文社交媒体数据集Twitter-2015上,联合实体边界检测的命名实体识别方法相较于基线模型取得了更高的精准率、召回率和F1值,其中F1值达到了73.57%;并且,边界检测辅助任务提升了基线方法的检测效果。所提方法能有效利用实体边界信息,从而获得更好的实体识别效果,促进了人机交互系统的发展,对自然语言处理下游任务有重要意义。 展开更多

关键词 自然语言处理 命名实体识别 实体边界检测 辅助任务 深度学习

下载PDF 职称材料

一种改进原型网络的小样本轴承故障诊断方法 被引量：1

6

作者 赵志宏 张然 +1 位作者 刘克俭 杨绍普 《振动与冲击》 EI CSCD 北大核心 2023年第20期214-221,共8页

在原型网络小样本故障诊断中,由于故障样本少并且易受异常值的影响,导致所得类原型准确性不是很好。为了提高故障原型表示的准确性,提出一种改进原型网络的小样本故障诊断方法,通过引入辅助分类任务提取更具鲁棒性的特征,提高提取特征... 在原型网络小样本故障诊断中,由于故障样本少并且易受异常值的影响,导致所得类原型准确性不是很好。为了提高故障原型表示的准确性,提出一种改进原型网络的小样本故障诊断方法,通过引入辅助分类任务提取更具鲁棒性的特征,提高提取特征的区分能力。另外,利用查询集样本进一步优化类原型,提高类原型对故障轴承的表示能力。为验证所提方法的有效性,设置K取不同值,在滚动轴承数据集上进行C-way K-shot故障诊断试验。试验结果表明,改进原型网络所得类原型具有更好的区分性与准确性。在10-way 5-shot试验中,所提方法相较传统原型网络准确率提高了5.1%。 展开更多

关键词 故障诊断 小样本学习 原型网络 辅助任务

下载PDF 职称材料

基于元辅助任务学习的中药饮片识别方法

7

作者 张一鹏 罗启甜 吴梦麟 《计算机技术与发展》 2023年第10期109-114,共6页

中药饮片的分类对临床中药的实际应用有着十分重要的影响,传统的人工分类主要依靠主观经验作为判断依据,而基于计算机视觉的中药饮片自动识别分类有着快速、准确的特点。但影响自动识别结果的因素较多,针对中药饮片自动识别结果受产地... 中药饮片的分类对临床中药的实际应用有着十分重要的影响,传统的人工分类主要依靠主观经验作为判断依据,而基于计算机视觉的中药饮片自动识别分类有着快速、准确的特点。但影响自动识别结果的因素较多,针对中药饮片自动识别结果受产地、锻造方式等因素影响大的问题,提出了一种基于元辅助任务学习的中药饮片识别方法。该方法采用了辅助任务以提升主任务表现的策略,利用中药饮片的多种属性构成辅助任务,以提升主任务即中药饮片分类结果的准确性;此外该方法还加入了元学习标签生成网络,该网络自动为模型生成辅助标签作为辅助任务,在提升模型表现的同时节省了人工标注的成本;最后该方法使用了Swin-Transformer作为骨干网络进行特征提取,提升了模型的全局感知能力,进一步提升了模型的泛化性。实验结果表明,该方法在不同批次中药饮片中的识别精度均高于普通方法。 展开更多

关键词 中药饮片识别 辅助任务 多任务 元学习 深度学习

下载PDF 职称材料

基于重建辅助的压缩学习图像分类

8

作者 李卫 马骏 +1 位作者 辛蕾 李峰 《航天返回与遥感》 CSCD 北大核心 2023年第5期105-115,共11页

压缩感知理论认为可以从少量测量中重建稀疏信号,尽管压缩感知能够实现低成本采样,但其重建过程需要高昂的代价。已有的研究工作成果表明,图像分类可以在测量域进行,而无需重建信号,但目前直接从压缩测量中推理难以提取到深层次特征,无... 压缩感知理论认为可以从少量测量中重建稀疏信号,尽管压缩感知能够实现低成本采样,但其重建过程需要高昂的代价。已有的研究工作成果表明,图像分类可以在测量域进行,而无需重建信号,但目前直接从压缩测量中推理难以提取到深层次特征,无法获得较好的分类效果,针对此问题,为了进一步提升分类结果,文章提出了一种带有重建辅助的深度学习框架直接从图像的压缩测量中推断分类。该框架在分类网络中加入了重建分支作为辅助,联合重建损失与分类损失组合成一个新的加权损失函数调整网络参数,帮助网络提取深层次特征。重建分支只在训练阶段使用来调整网络参数,在训练完成后,重建分支将被舍弃,在实际使用中将不会增加分类任务的时间成本,并保护了数据的隐私。在MNIST和CIFAR-10数据集上进行了实验,结果表明,相比现有方法,所提出的方法在不增加使用成本的情况下有效提高了分类准确度,在两数据集上最高分别提升了1.19个百分点和17.69个百分点,为基于压缩测量的直接推理研究提供了新思路。 展开更多

关键词 压缩感知 深度学习 图像分类 图像重建 辅助任务 压缩学习 遥感应用

下载PDF 职称材料

自监督学习HOG预测辅助任务下的车位检测方法

9

作者 刘磊 伍鹏 +2 位作者 谢凯 程贝芝 盛冠群 《计算机应用》 CSCD 北大核心 2023年第12期3933-3940,共8页

针对智能车位管理系统中,光照变化、车位遮挡等因素导致车位预测的精度下降、有效性变差的问题,提出一种自监督学习方向梯度直方图(HOG)预测辅助任务下的车位检测方法。首先,设计预测图像遮挡部分HOG特征的自监督学习辅助任务,利用Mobil... 针对智能车位管理系统中,光照变化、车位遮挡等因素导致车位预测的精度下降、有效性变差的问题,提出一种自监督学习方向梯度直方图(HOG)预测辅助任务下的车位检测方法。首先,设计预测图像遮挡部分HOG特征的自监督学习辅助任务,利用MobileViTBlock(light-weight,general-purpose,and Mobile-friendly Vision Transformer Block)综合图像全局信息,使模型更充分地学习图像的视觉表征,并提高模型的特征提取能力;其次,改进SE(Squeeze-and-Excitation)注意力机制,使模型在更低的计算开销上达到甚至高于原始SE注意力机制的效果;最后,将辅助任务训练的特征提取部分应用于下游的分类任务进行车位状态预测,在PKLot和CNRPark的混合数据集上进行实验。实验结果表明,所提模型在测试集上的准确率达到了97.49%,相较于RepVGG,遮挡预测准确率提高了5.46个百分点,与其他的车位检测算法相比进步较大。 展开更多

关键词 智能停车系统 自监督学习 方向梯度直方图 辅助任务 车位状态预测

下载PDF 职称材料

一种用于语音质量评价的半监督学习方法研究 被引量：2

10

作者 李伦彬 滕海坤 王诗莹 《长春工程学院学报（自然科学版）》 2021年第3期119-124,共6页

自动语音质量评估是一项重要的任务,因标注缺乏、对不可见记录条件的不良概括以及现有方法缺乏灵活性等问题阻碍了评估研究的进展。提出使用半监督学习方式来解决这些问题,将可用的标注数据与自动生成的数据相结合,并使用3个不同的优化... 自动语音质量评估是一项重要的任务,因标注缺乏、对不可见记录条件的不良概括以及现有方法缺乏灵活性等问题阻碍了评估研究的进展。提出使用半监督学习方式来解决这些问题,将可用的标注数据与自动生成的数据相结合,并使用3个不同的优化准则以及5个互补的辅助任务进行联合优化。实验结果表明,这种半监督学习的方式可以将现有方法的误差率减少36%以上,同时在可重用特征或辅助输出方面可以提供额外的效益。同时,实验结果也显示出该方法具有良好的泛化能力和有效性。 展开更多

关键词 语音质量评估 半监督学习 辅助任务

下载PDF 职称材料

基于辅助任务的BERT中文新闻文本分类研究

11

作者 崔建青 仇测皓 《软件工程》 2022年第6期4-8,共5页

新闻文本分类是自然语言处理领域中一项重要任务,本文使用新闻标题进行文本分类。随着BERT预训练模型的崛起,BERT模型在多项NLP(Natural Language Processing)任务中都取得了较好的效果,并应用在新闻分类任务中。为了提高新闻分类这一... 新闻文本分类是自然语言处理领域中一项重要任务,本文使用新闻标题进行文本分类。随着BERT预训练模型的崛起,BERT模型在多项NLP(Natural Language Processing)任务中都取得了较好的效果,并应用在新闻分类任务中。为了提高新闻分类这一主要任务的效果,本文引入辅助任务判断两个新闻是否是同类新闻,对BERT预训练模型在辅助任务和主要任务上进行微调。在THUCNews数据集上进行实验,实验结果表明,引入辅助任务的BERT新闻分类模型在效果上优于原BERT模型。 展开更多

关键词 新闻文本分类 BERT 辅助任务

下载PDF 职称材料

基于鉴别模型和对抗损失的无监督域自适应方法 被引量：4

12

作者 赵文仓 袁立镇 徐长凯 《高技术通讯》 EI CAS 北大核心 2020年第7期698-706,共9页

对于许多任务而言,收集注释良好的图像数据集来训练深度学习算法成本过高且耗时,而仅在渲染图像训练的模型通常无法推广到真实图像。针对上述问题,无监督域自适应算法试图在2个域之间映射一些表示或提取域不变的特征,将2个域映射到共同... 对于许多任务而言,收集注释良好的图像数据集来训练深度学习算法成本过高且耗时,而仅在渲染图像训练的模型通常无法推广到真实图像。针对上述问题,无监督域自适应算法试图在2个域之间映射一些表示或提取域不变的特征,将2个域映射到共同的特征空间。本文结合源域的有标签数据和目标域的无标签数据,提出了基于生成对抗网络(GAN)架构的无监督域自适应方法。方法使用鉴别模型,无需权重共享、对抗损失和辅助分类任务,以无监督的方式学习从一个域到另一个域的变换。对抗鉴别的无监督域自适应方法能有效减少训练域和测试域分布之间的差异,减轻域移位的有害影响,并显著地提高识别率。实验结果证明对抗鉴别方法比其他域自适应方法更有效且更简单,扩充样本的同时提高了网络的泛化性能。 展开更多

关键词 深度学习 无监督 域自适应 生成对抗网络(GAN) 辅助分类任务

下载PDF 职称材料