融合改进GAN网络的夜视环境车道线检测

1

作者 刘岩 仇甜甜 +2 位作者 肖艳秋 朱付保 王靖雯 《计算机工程与应用》 CSCD 北大核心 2023年第15期214-222,共9页

基于深度学习的车道线检测方法有效地促进了自动驾驶技术的发展,然而这些方法在处理夜视场景下车道线检测问题仍然存在一定的不足。针对夜视场景下车道线检测存在的检测精度弱问题,将基于注意力机制的生成对抗网络(attentive GAN)和空... 基于深度学习的车道线检测方法有效地促进了自动驾驶技术的发展,然而这些方法在处理夜视场景下车道线检测问题仍然存在一定的不足。针对夜视场景下车道线检测存在的检测精度弱问题,将基于注意力机制的生成对抗网络(attentive GAN)和空间卷积神经网络(spatial convolutional neural network,SCNN)算法相结合,提出一种针对夜视场景的车道线检测方法。该方法利用Attentive GAN网络提高夜间道路图像质量,突出道路图像中的车道线特征,再利用ResNet-18网络提取车道线特征,随后利用SCNN网络进行图像信息的逐行逐列传递,并利用三次样条曲线进行概率图拟合,得到最终的车道线检测结果。在利用模拟后的TuSimple数据集验证了方法的检测性能,实验结果表明,提出的车道线检测方法在夜视场景下具有良好的车道线检测性能。 展开更多

关键词 夜间车道线检测 注意力机制的生成对抗网络(attentive gan) ResNet-18网络 空间卷积神经网络(SCNN)

下载PDF 职称材料

结合GAN与BiLSTM-Attention-CRF的领域命名实体识别 被引量：31

2

作者 张晗 郭渊博 李涛 《计算机研究与发展》 EI CSCD 北大核心 2019年第9期1851-1858,共8页

领域内命名实体识别通常面临领域内标注数据缺乏以及由于实体名称多样性导致的同一文档中实体标注不一致等问题.针对以上问题,利用生成式对抗网络(generative adversarial network, GAN)可以生成数据的特点,将生成式对抗网络与BiLSTM-At... 领域内命名实体识别通常面临领域内标注数据缺乏以及由于实体名称多样性导致的同一文档中实体标注不一致等问题.针对以上问题,利用生成式对抗网络(generative adversarial network, GAN)可以生成数据的特点,将生成式对抗网络与BiLSTM-Attention-CRF模型相结合.首先以BiLSTM-Attention作为生成式对抗网络的生成器模型,以CNN作为判别器模型,从众包标注数据集中整合出与专家标注数据分布一致的正样本标注数据来解决领域内标注数据缺乏的问题;然后通过在BiLSTM-Attention-CRF模型中引入文档层面的全局向量,计算每个单词与该全局向量的关系得出其新的特征表示以解决由于实体名称多样化造成的同一文档中实体标注不一致问题;最后,在基于信息安全领域众包标注数据集上的实验结果表明,该模型在各项指标上显著优于同类其他模型方法. 展开更多

关键词 领域命名实体识别 生成式对抗网络 众包标注数据 实体标注一致 BiLSTM-attention-CRF模型

下载PDF 职称材料

嵌入Transformer结构的多尺度点云补全 被引量：14

3

作者 刘心溥 马燕新 +2 位作者 许可 万建伟 郭裕兰 《中国图象图形学报》 CSCD 北大核心 2022年第2期538-549,共12页

目的当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点... 目的当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络(generative adversarial networks,GAN)的思想,优化网络补全性能。结果采用倒角距离(Chamfer distance,CD)作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在Shape Net数据集上,相比于性能第2的PF-Net(point fractal network)模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75%。不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力。结论本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确。 展开更多

关键词 3维点云 点云补全 自编码器 注意力机制 生成对抗网络(gan)

原文传递

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型 被引量：6

4

作者 陈玉立 佟强 +2 位作者 谌彤童 侯守璐 刘秀磊 《计算机应用》 CSCD 北大核心 2022年第10期3292-3299,共8页

针对单一长短时记忆(LSTM)网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题,提出基于注意力机制和生成对抗网络(GAN)的飞行器短期轨迹预测模型。首先,引入注意力机制对航迹赋予不同的权重,以提升航迹中重要特征的... 针对单一长短时记忆(LSTM)网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题,提出基于注意力机制和生成对抗网络(GAN)的飞行器短期轨迹预测模型。首先,引入注意力机制对航迹赋予不同的权重,以提升航迹中重要特征的影响力;其次,基于LSTM提取航迹序列特征,并经汇聚层汇集时间步长内所有的飞行器特征;最后,利用GAN在对抗博弈下不断优化的特性来优化模型,从而提高模型的准确性。相较于社会生成对抗网络(SGAN),所提模型在处于爬升阶段的数据集上的平均位移误差(ADE)、最终位移误差(FDE)及最大位移误差(MDE)分别降低了20.0%、20.4%和18.3%。实验结果表明,所提模型能更精确地预测未来航迹。 展开更多

关键词 航迹预测 注意力机制 生成对抗网络 长短时记忆网络

下载PDF 职称材料

基于SA/WGAN的新能源场景生成方法

5

作者 王宇昊 刘海涛 +2 位作者 朱康凯 仲聪 马佳伊 《电气传动》 2024年第6期45-53,共9页

随着新能源渗透率逐年提高,其出力的随机性与波动特性难以准确预测,给电力系统的运行、规划和调度提出了严峻的挑战,因此新能源的不确定性建模受到越来越多的关注。为了更有效地获得新能源出力场景中的时序特征,提出了一种基于数据驱动... 随着新能源渗透率逐年提高,其出力的随机性与波动特性难以准确预测,给电力系统的运行、规划和调度提出了严峻的挑战,因此新能源的不确定性建模受到越来越多的关注。为了更有效地获得新能源出力场景中的时序特征,提出了一种基于数据驱动的新能源场景生成方法,通过采用SA/WGAN模型,把自注意力机制和带有梯度惩罚的生成对抗网络判别器结合,构建基于两种模型结合的深度学习模型,有效突显新能源出力场景中时序特性,增强场景生成中非线性拟合能力。算例结果表明,所提模型的新能源生成场景相较于原始WGAN和WGAN-LSTM的场景生成结果,可以有效提高精准度,同时具备了WGAN-GP训练结果稳定和SA计算速度快的优势,更高效地生成与真实新能源场景分布接近的场景。 展开更多

关键词 无监督学习 自注意力机制 生成对抗网络 新能源 场景生成

下载PDF 职称材料

结合多注意力及IE-GAN的面部属性编辑方法

6

作者 石晓楠 息佳琦 王英丽 《黑龙江大学工程学报（中英俄文）》 2024年第1期65-75,共11页

面部属性编辑主要有两个目的:①将图像从源域转换到目标域,对指定的目标属性(如性别、年龄、发色等)进行修改;②只改变与目标属性相关的人脸区域,保留目标属性之外其他属性的细节。而现有的人脸属性编辑方法不可避免地会对与目标属性无... 面部属性编辑主要有两个目的:①将图像从源域转换到目标域,对指定的目标属性(如性别、年龄、发色等)进行修改;②只改变与目标属性相关的人脸区域,保留目标属性之外其他属性的细节。而现有的人脸属性编辑方法不可避免地会对与目标属性无关区域进行更改。因此,提出一种基于IE-GAN和多注意力机制的面部属性编辑方法MAIE-GAN,引入补充注意连接(Complementary attention connection,CAC)的概念连接编解码器,解决了由直接跳跃连接引起的信息冗余问题,将自注意力机制作为生成器中卷积层的补充,使其能更好定位目标属性,限定属性变换区域,此外,还利用互补注意特征的概念,实现目标属性无关区域的更好保留。通过与现有方法的对比分析表明,该方法在属性定位和图像质量方面优于现有的方法。 展开更多

关键词 面部属性编辑 空间注意力机制 生成对抗网络 补充属性连接

下载PDF 职称材料

结合混合注意力的双判别生成对抗网络

7

作者 王磊 杨军 +1 位作者 张驰宇 代在燕 《计算机工程与应用》 CSCD 北大核心 2024年第7期212-221,共10页

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网... 图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。 展开更多

关键词 图像生成 卷积神经网络 混合注意力 双判别器 数据增强 生成对抗网络

下载PDF 职称材料

基于多尺度注意力的生成式信息隐藏算法

8

作者 刘丽 侯海金 +1 位作者 王安红 张涛 《计算机应用》 CSCD 北大核心 2024年第7期2102-2109,共8页

针对现有生成式信息隐藏算法嵌入容量低且提取的秘密图像视觉质量欠佳的问题,提出基于多尺度注意力的生成式信息隐藏算法。首先,设计基于多尺度注意力的双编码-单解码生成器,载体图像与秘密图像的特征在编码端分两个支路独立提取,在解... 针对现有生成式信息隐藏算法嵌入容量低且提取的秘密图像视觉质量欠佳的问题,提出基于多尺度注意力的生成式信息隐藏算法。首先,设计基于多尺度注意力的双编码-单解码生成器,载体图像与秘密图像的特征在编码端分两个支路独立提取,在解码端通过多尺度注意力模块进行融合,并利用跳跃连接为解码端提供不同尺度的细节特征,从而获得高质量的载密图像。其次,在U-Net结构的提取器中引入自注意力模块,以弱化载体图像特征、增强秘密图像深层特征,并利用跳跃连接弥补秘密图像细节特征,提高秘密信息提取的准确率;同时,多尺度判决器与生成器的对抗训练可以有效提升载密图像的视觉质量。实验结果表明,所提算法在嵌入容量为24 bpp的情况下,生成的载密图像峰值信噪比(PSNR)和结构相似性(SSIM)平均可达到40.93 dB和0.9883,且提取的秘密图像PSNR和SSIM平均可达到30.47 dB和0.9543。 展开更多

关键词 信息隐藏 注意力机制 多尺度 编码-解码结构 生成对抗网络

下载PDF 职称材料

融合自上而下和自下而上注意力的图像描述生成 被引量：3

9

作者 武光利 郭振洲 李雷霆 《科学技术与工程》 北大核心 2022年第32期14313-14320,共8页

随着互联网的普及,每天都有海量的图片被传入互联网中。为了能更好地利用这些图片的价值,图像描述生成技术应运而生。提出一种融合自上而下和自下而上注意力的图像描述生成模型。在工作时,该模型分别利用预训练的ResNet101和Faster R-CN... 随着互联网的普及,每天都有海量的图片被传入互联网中。为了能更好地利用这些图片的价值,图像描述生成技术应运而生。提出一种融合自上而下和自下而上注意力的图像描述生成模型。在工作时,该模型分别利用预训练的ResNet101和Faster R-CNN(regions with convolutional neural network)提取输入图片的全局特征和局部特征,并利用自上而下和自下而上注意力分别计算两种特征的权重;利用门控循环单元(gate recurrent unit, GRU)提取一句话中单词之间的上下文语义信息;利用长短期记忆网络(long short-term memory, LSTM)解析图像特征和语义信息并生成描述语句。在训练时,首先以监督学习的方法,训练出基于编码器-解码器框架的一个基础模型;然后再以结合生成式对抗网络和强化学习的方法,在相互对抗中得到不断优化的策略函数和不断完善的奖励机制,从而使生成的句子更加准确、自然。本文模型在COCO数据集上进行训练和测试,最终在评价指标BLEU@1(bilingual evaluation understudy@1)上达到0.675,在BLEU@4上达到0.24,在CIDEr(consensus-based image description evaluation)上达到0.734,在ROUGE(recall-oriented understudy for gisting evaluation)上达到0.51。实验结果表明了本文模型的可行性与先进性。 展开更多

关键词 自上而下注意力 自下而上注意力 图像描述生成 生成式对抗网络(gan) 强化学习(RL)

下载PDF 职称材料

基于注意力机制的入侵检测生成对抗网络模型 被引量：3

10

作者 何昀峰 王小戈 +1 位作者 刘路希 王潇 《计算机应用》 CSCD 北大核心 2022年第S01期152-159,共8页

针对传统基于生成对抗网络(GAN)模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息... 针对传统基于生成对抗网络(GAN)模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息的抽取,使得模型可以作出更准确的判断,同时提高训练的效率。生成器根据注意力特征图可以抽取攻击流量中的非功能特征进行修改,提高训练效率,结合判别器判别反馈结果,最终生成器可以生成保留攻击功能的有效对抗样本。实验针对基于卷积神经网络(CNN)类的深度入侵检测系统进行测试,验证了此基于注意力机制的GAN对抗攻击模型生成的对抗流量可以有效降低深度入侵检测系统的识别率,整体识别率降低超过10%,在注意力模块的帮助下模型能够针对重要特征进行训练,使得收敛速度更快、效率更高。 展开更多

关键词 入侵检测 对抗攻击 深度学习 注意力机制 生成对抗网络

下载PDF 职称材料

低分辨率图像的妆容迁移算法

11

作者 林凯 陈壹华 余松森 《计算机系统应用》 2023年第8期54-66,共13页

现有的妆容迁移算法效果优越,功能丰富,但是较少考虑到输入图像为低分辨率的场景.当高分辨率图像难以获得时,现有的妆容迁移算法将难以适用,妆容无法完全迁移.为此本文提出了一种适用于低分辨率图像的妆容迁移算法,将包含妆容信息的特... 现有的妆容迁移算法效果优越,功能丰富,但是较少考虑到输入图像为低分辨率的场景.当高分辨率图像难以获得时,现有的妆容迁移算法将难以适用,妆容无法完全迁移.为此本文提出了一种适用于低分辨率图像的妆容迁移算法,将包含妆容信息的特征矩阵作为先验信息,将超分辨率网络与妆容迁移网络结合在一起产生协同效应,即使输入的图像为低分辨率图像,也能输出高分辨率的妆容迁移结果,并且充分保留妆容细节的同时提升姿势和表情的鲁棒性.由于使用端到端的模型实现妆容迁移与超分辨率,因此设计了一组联合损失函数,包括生成对抗损失、感知损失、循环一致性损失、妆容损失和均方误差损失函数.所提出的模型在妆容迁移与超分辨率的定性实验和定量实验中均达到了先进水平. 展开更多

关键词 深度学习 妆容迁移 注意力机制 超分辨率 生成对抗网络

下载PDF 职称材料

基于姿态注意力的特定角度人脸正面化网络

12

作者 解奕鹏 秦品乐 +3 位作者 曾建潮 闫寒梅 柴锐 赵鹏程 《计算机技术与发展》 2023年第7期47-54,共8页

人脸正面化对人脸识别有重要意义,但实际监控场景中大姿态的人脸正面化效果通常不如较小姿态,因此提出姿态引导的特定角度生成对抗网络(Pose-Specific Generative Adversarial Network,PS-GAN)。PS-GAN由生成器和鉴别器组成,生成器由编... 人脸正面化对人脸识别有重要意义,但实际监控场景中大姿态的人脸正面化效果通常不如较小姿态,因此提出姿态引导的特定角度生成对抗网络(Pose-Specific Generative Adversarial Network,PS-GAN)。PS-GAN由生成器和鉴别器组成,生成器由编码器、姿态注意模块、特征转换模块以及解码器四部分组成,编码器与解码器分别对输入图像进行下采样与上采样,姿态注意模块为网络引入人脸结构先验的同时约束模型关注感兴趣区域,特征转换模块对编码器得到的侧脸特征进行变换并抑制冗余通道。首先,将连续的姿态变化划分为离散的姿态集合,单个PS-GAN模型由某一特定角度的数据训练;然后,将多个PS-GAN进行组合,使其适用于任意角度的人脸输入。在本实验室自主采集的MASFD数据集以及CAS-PEAL-R1公开数据集上进行了大量的定性与定量实验,验证了网络结构的有效性以及合理性;与现有方法相比,虽然PS-GAN是由受限数据集训练的,但它也能在非同源数据上有良好的视觉效果。 展开更多

关键词 人脸正面化 注意力机制 生成对抗网络 人脸识别 深度学习

下载PDF 职称材料

基于SK注意力残差网络的水下图像增强

13

作者 陈海秀 刘磊 《南京信息工程大学学报（自然科学版）》 CAS 北大核心 2023年第5期524-533,共10页

针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题,提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构,引入残差模块,减少编码器和解码器之间的特征丢失,增强了图像细节和颜色.为了使... 针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题,提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构,引入残差模块,减少编码器和解码器之间的特征丢失,增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息,该方法在残差模块后添加SK注意力机制,采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证,采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现,本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现,本文方法指标值均高于现有的水下图像增强算法,验证了该算法的有效性. 展开更多

关键词 水下图像增强 注意力机制 生成对抗网络 残差模块

下载PDF 职称材料

基于注意力机制的大规模系统日志异常检测方法 被引量：4

14

作者 房笑宇 曹陈涵 夏彬 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2021年第5期785-792,共8页

针对传统检测算法主要面向会话级别的粗颗粒度日志异常检测,而无法完成日志级别的细颗粒度检测问题,提出一种基于注意力机制的日志级别异常检测算法.首先,使用基于模版的方法提取日志的所属事件类型,通过滑动窗口的方法获得日志序列.接... 针对传统检测算法主要面向会话级别的粗颗粒度日志异常检测,而无法完成日志级别的细颗粒度检测问题,提出一种基于注意力机制的日志级别异常检测算法.首先,使用基于模版的方法提取日志的所属事件类型,通过滑动窗口的方法获得日志序列.接着,将日志序列输入基于注意力机制的生成对抗网络,生成器负责生成该序列后续正常事件的分布,判别器用于判别输入的正常事件分布是由生成器生成的还是真实发生的,两者通过不断的博弈相互提升,最终通过对比生成器生成的后续正常事件和真实发生的后续事件是否一致来判断该日志事件是否异常.实验在开源数据集BGL上进行验证,结果表明本算法的准确率比传统算法提升15%. 展开更多

关键词 异常检测 注意力机制 长短期记忆神经网络 生成对抗网络

下载PDF 职称材料

基于注意力及生成对抗网络的遥感影像目标检测 被引量：3

15

作者 李佳琪 邓玉娇 +6 位作者 吴湘宁 代刚 陈苗 王稳 方恒 涂雨 张锋 《计算机系统应用》 2022年第6期182-191,共10页

针对传统目标检测算法在环境多变、背景复杂、目标聚集、小目标过多的航空遥感影像目标检测上效果不理想的问题,本文提出了一种基于注意力机制及生成对抗网络的遥感影像目标检测模型Attention-GAN-Mask R-CNN.该模型将注意力、生成对抗... 针对传统目标检测算法在环境多变、背景复杂、目标聚集、小目标过多的航空遥感影像目标检测上效果不理想的问题,本文提出了一种基于注意力机制及生成对抗网络的遥感影像目标检测模型Attention-GAN-Mask R-CNN.该模型将注意力、生成对抗网络和Mask R-CNN结合起来,用以解决遥感影像目标检测中存在的问题.实验结果表明,在复杂的遥感影像数据集中,该方法提升了目标检测的效率和准确率. 展开更多

关键词 遥感影像 目标检测 注意力机制 生成对抗网络 深度学习

下载PDF 职称材料

混合阶通道注意力网络的单图像超分辨率重建 被引量：3

16

作者 姚鲁 宋慧慧 张开华 《计算机应用》 CSCD 北大核心 2020年第10期3048-3053,共6页

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该... 目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数(PI)分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。 展开更多

关键词 通道注意力机制 生成对抗网络 图像超分辨率重建 卷积神经网络 深度学习

下载PDF 职称材料

基于注意力与残差级联的红外与可见光图像融合方法 被引量：2

17

作者 李晨 侯进 +1 位作者 李金彪 陈子锐 《计算机工程》 CAS CSCD 北大核心 2022年第7期234-240,共7页

红外与可见光图像融合是在复杂环境中获得高质量目标图像的一种有效手段,广泛应用于目标检测、人脸识别等领域。传统的红外与可见光图像融合方法未充分利用图像的关键信息,导致融合图像的视觉效果不佳、背景细节信息丢失。针对该问题,... 红外与可见光图像融合是在复杂环境中获得高质量目标图像的一种有效手段,广泛应用于目标检测、人脸识别等领域。传统的红外与可见光图像融合方法未充分利用图像的关键信息,导致融合图像的视觉效果不佳、背景细节信息丢失。针对该问题,提出基于注意力与残差级联的端到端融合方法。将源图像输入到生成器中,通过层次特征提取模块提取源图像的层次特征,基于U-net连接的解码器融合层次特征并生成初始融合图像。将生成器与输入预融合图像的判别器进行对抗训练,同时利用细节损失函数优化生成器,补充融合图像缺失的信息。此外,在判别器中,采用谱归一化技术提高生成对抗网络训练的稳定性。实验结果表明,该方法的信息熵、标准差、互信息、空间频率分别为7.118 2、46.629 2、14.236 3和20.321,相比FusionGAN、LP、STDFusionNet等融合方法,能够充分提取源图像的信息,所得图像具有较优的视觉效果和图像质量。 展开更多

关键词 图像融合 特征提取 红外图像 注意力 生成对抗网络

下载PDF 职称材料

融合语义标签和噪声先验的图像生成 被引量：2

18

作者 张素素 倪建成 +1 位作者 周子力 侯杰 《计算机应用》 CSCD 北大核心 2020年第5期1431-1439,共9页

针对现有生成模型难以直接从复杂语义标签生成高分辨率图像的问题,提出了融合语义标签和噪声先验的生成对抗网络(SLNP-GAN)。首先,直接输入语义标签(包含形状、位置和类别等信息),使用全局生成器对其进行编码,并结合噪声先验来学习粗粒... 针对现有生成模型难以直接从复杂语义标签生成高分辨率图像的问题,提出了融合语义标签和噪声先验的生成对抗网络(SLNP-GAN)。首先,直接输入语义标签(包含形状、位置和类别等信息),使用全局生成器对其进行编码,并结合噪声先验来学习粗粒度的全局属性,初步合成低分辨率图像;然后,基于注意力机制,使用局部细化生成器来查询低分辨率图像子区域对应的高分辨率子标签,获取细粒度信息,从而生成纹理清晰的复杂图像;最后,采用改进的引入动量的Adam算法(AMM)算法来优化对抗训练。实验结果表明,与现有方法text2img相比,所提方法的像素精确度(PA)在COCO_Stuff和ADE20K数据集上分别提高了23.73%和11.09%;相较于Adam算法,AMM算法收敛速度提升了约一倍,且损失值波幅较小。可见,SLNP-GAN能高效地获取全局特征和局部纹理,生成细粒度、高质量的图像。 展开更多

关键词 语义标签 噪声先验 注意力机制 引入动量的Adam算法 生成对抗网络

下载PDF 职称材料

基于Transformer和生成对抗网络的临床靶区分割方法

19

作者 沈鳌 王晓东 姚宇 《计算机应用》 CSCD 北大核心 2022年第S02期237-242,共6页

针对前列腺临床靶区的对比度不均、边缘模糊、形态大小不一等问题,提出了一种基于Transformer和生成对抗网络的前列腺临床靶区分割方法(TG-UNet)。首先借助多头注意力机制有效地提取全局及局部信息,将分割结果输入到生成对抗网络,然后... 针对前列腺临床靶区的对比度不均、边缘模糊、形态大小不一等问题,提出了一种基于Transformer和生成对抗网络的前列腺临床靶区分割方法(TG-UNet)。首先借助多头注意力机制有效地提取全局及局部信息,将分割结果输入到生成对抗网络,然后判别网络判断输入是分割预测结果还是真实标签,最后分割网络利用判别结果优化调整自身参数以获得更贴近真实标签的分割结果。通过多组对比实验可知,与U-Net相比,该网络在Dice系数、平均交并比(mIOU)、平均像素准确度(mPA)等指标上分别提升了9.98个百分点、12.41个百分点、0.68个百分点。实验结果表明,所提方法能够提取更多前列腺临床靶区细节,且具有较强的泛化能力。 展开更多

关键词 临床靶区 深度学习 图像分割 注意力机制 生成对抗网络

下载PDF 职称材料