目的以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊...目的以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别提高了0.17 d B、0.28 d B、0.16 d B。同时也在GOPRO数据集上进行了对比实验以验证Transformer融合网络的有效性。对比实验结果表明,提出的网络明显提升了对模糊图像超分辨重建的效果。结论本文所提出的用于模糊图像超分辨的Transformer融合网络,具有优异的长程依赖关系和全局信息捕捉能力,其通过多头自注意力层计算特征图任一局部信息在全局信息上的响应,实现了对去模糊特征和细节纹理特征在全局语义层次的深度融合,从而提升了对模糊图像进行超分辨重建的效果。展开更多
单帧图像超分辨作为一个典型的欠定问题,在优化求解过程中需要引入正则项进行约束,以提高超分辨重建的稳定性。平滑性正则作为超分辨中的一种常用正则项,容易导致图像高频信息丢失,造成图像中的边缘部分模糊,影响重建图像的视觉效果。...单帧图像超分辨作为一个典型的欠定问题,在优化求解过程中需要引入正则项进行约束,以提高超分辨重建的稳定性。平滑性正则作为超分辨中的一种常用正则项,容易导致图像高频信息丢失,造成图像中的边缘部分模糊,影响重建图像的视觉效果。利用马尔科夫随机场(Markov Random Field,MRF)对局部图像进行建模,表征了局部图像块内像元间的相关关系,并基于此实现了超分辨过程中的自适应正则约束,有效避免了图像边缘等位置的模糊效应,提高了图像的重建性能。展开更多
在实际生活中,由于硬件设备、拍摄技术以及距离等各方面因素的影响,人们经常无法获得高分辨率的图像,因此,利用算法和软件提高图像分辨率,从而获得清晰度较高的图像的工作就变得越发重要。基于学习的单帧图像的超分辨技术,就是建立低分...在实际生活中,由于硬件设备、拍摄技术以及距离等各方面因素的影响,人们经常无法获得高分辨率的图像,因此,利用算法和软件提高图像分辨率,从而获得清晰度较高的图像的工作就变得越发重要。基于学习的单帧图像的超分辨技术,就是建立低分辨率图像集和高分辨率图像集之间的关系,即通过学习低分辨率图像和高分辨率图像之间的映射关系进而获得先验知识,以此为约束条件重建得出高分辨率图像。在此方法中,高、低分辨率之间的映射关系十分重要且较难获得。本论文应用了一种简单有效的方法即通过建立级联线性回归模型对高、低分辨率图像之间的映射关系进行学习。级联线性回归模型需要的参数少,并且该函数可以求出闭合解,因此在求解时可以简便地获得更有效的结果。为使结果更加准确,论文中的算法通过对低分辨率图像进行下采样再经过双立方插值等一系列操作得到不同层数的级联性回归的高分辨率图像,通过实验对比不同级联层数的峰值信噪比PSNR(Peak Signal to Noise Ratio),选择PSNR较高的级联层数,之后对各级高分辨图像进行迭代得到最终的高分辨率图像,并将通过算法得到的高分辨率图像与原图像的高分辨率图像进行对比。实验结果表明,采用3×3的图像块,进行二次级联时,此算法能够得到较好的高分辨率图像并且算法难度较小、运行效率较高。展开更多
文摘目的以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别提高了0.17 d B、0.28 d B、0.16 d B。同时也在GOPRO数据集上进行了对比实验以验证Transformer融合网络的有效性。对比实验结果表明,提出的网络明显提升了对模糊图像超分辨重建的效果。结论本文所提出的用于模糊图像超分辨的Transformer融合网络,具有优异的长程依赖关系和全局信息捕捉能力,其通过多头自注意力层计算特征图任一局部信息在全局信息上的响应,实现了对去模糊特征和细节纹理特征在全局语义层次的深度融合,从而提升了对模糊图像进行超分辨重建的效果。
文摘单帧图像超分辨作为一个典型的欠定问题,在优化求解过程中需要引入正则项进行约束,以提高超分辨重建的稳定性。平滑性正则作为超分辨中的一种常用正则项,容易导致图像高频信息丢失,造成图像中的边缘部分模糊,影响重建图像的视觉效果。利用马尔科夫随机场(Markov Random Field,MRF)对局部图像进行建模,表征了局部图像块内像元间的相关关系,并基于此实现了超分辨过程中的自适应正则约束,有效避免了图像边缘等位置的模糊效应,提高了图像的重建性能。
基金Guangdong province special fund research project for scientific and professional construction of university(2013WYXM0058)Guangdong province science and technology planning project(2013B020314019)
文摘在实际生活中,由于硬件设备、拍摄技术以及距离等各方面因素的影响,人们经常无法获得高分辨率的图像,因此,利用算法和软件提高图像分辨率,从而获得清晰度较高的图像的工作就变得越发重要。基于学习的单帧图像的超分辨技术,就是建立低分辨率图像集和高分辨率图像集之间的关系,即通过学习低分辨率图像和高分辨率图像之间的映射关系进而获得先验知识,以此为约束条件重建得出高分辨率图像。在此方法中,高、低分辨率之间的映射关系十分重要且较难获得。本论文应用了一种简单有效的方法即通过建立级联线性回归模型对高、低分辨率图像之间的映射关系进行学习。级联线性回归模型需要的参数少,并且该函数可以求出闭合解,因此在求解时可以简便地获得更有效的结果。为使结果更加准确,论文中的算法通过对低分辨率图像进行下采样再经过双立方插值等一系列操作得到不同层数的级联性回归的高分辨率图像,通过实验对比不同级联层数的峰值信噪比PSNR(Peak Signal to Noise Ratio),选择PSNR较高的级联层数,之后对各级高分辨图像进行迭代得到最终的高分辨率图像,并将通过算法得到的高分辨率图像与原图像的高分辨率图像进行对比。实验结果表明,采用3×3的图像块,进行二次级联时,此算法能够得到较好的高分辨率图像并且算法难度较小、运行效率较高。
