期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
高光谱图像去噪的稀疏空谱Transformer模型
1
作者 杨智翔 孙玉宝 +1 位作者 白志远 鸿 《电子测量技术》 北大核心 2024年第1期150-158,共9页
现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对... 现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对不同光谱波段间差异性的利用;为了应对这些问题,本文提出了一种新的稀疏空谱Transformer模型,提升了对空谱耦合关联性的利用。在空间维度,引入局部增强模块增强空间特征细节,应对过平滑问题;同时在光谱维度上提出了Top-k稀疏自注意力机制,自适应选择前K个最相关的光谱通道特征进行特征交互,从而能够有效捕获空谱特征。最终通过稀疏空谱Transformer的层级残差连接实现高光谱图像的去噪。在ICVL数据集上分别对高斯噪声和复杂噪声进行去噪处理,峰值信噪比分别达到40.56 dB和40.19 dB,证明了本文提出的稀疏空谱Transformer模型优越的性能。 展开更多
关键词 高光谱图像去噪 空间-光谱联合特征 稀疏Transformer
下载PDF
耦合单词与句子级文本特征的图像对抗级联生成
2
作者 白志远 杨智翔 +1 位作者 鸿 孙玉宝 《计算机工程与科学》 CSCD 北大核心 2023年第12期2186-2196,共11页
文本生成图像旨在根据自然语言描述生成逼真的图像,是一个涉及文本与图像的跨模态分析任务。鉴于生成对抗网络具有生成图像逼真、效率高等优势,已经成为文本生成图像任务的主流模型。然而,当前方法往往将文本特征分为单词级和句子级单... 文本生成图像旨在根据自然语言描述生成逼真的图像,是一个涉及文本与图像的跨模态分析任务。鉴于生成对抗网络具有生成图像逼真、效率高等优势,已经成为文本生成图像任务的主流模型。然而,当前方法往往将文本特征分为单词级和句子级单独训练,文本信息利用不充分,容易导致生成的图像与文本不匹配的问题。针对该问题,提出了一种耦合单词级与句子级文本特征的图像对抗级联生成模型(Union-GAN),在每个图像生成阶段引入了文本图像联合感知模块(Union-Block),使用通道仿射变换和跨模态注意力相结合的方式,充分利用了文本的单词级语义与整体语义信息,促使生成的图像既符合文本语义描述又能够保持清晰结构。同时联合优化鉴别器,将空间注意力加入到对应的鉴别器中,使来自文本的监督信号促使生成器生成更加相关的图像。在CUB-200-2011数据集上将其与AttnGAN等多个当前的代表性模型进行了对比,实验结果表明,Union-GAN的FID分数达到了13.67,与AttnGAN相比,提高了42.9%,IS分数达到了4.52,提高了0.16。 展开更多
关键词 文本生成图像 生成对抗网络 多模态任务
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部