传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on ...传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on contrast learning,CEDSR)方法,针对残差超分辨率模型,采用对高分辨率图像锐化后的图像作为正样本,对高分辨率图像轻微模糊的图像作为负样本,利用正负样本下的对比损失提升对纹理细节的恢复增强。增强锐化后的正样本图像携带更丰富的纹理信息,基于不同函数生成的模糊负样本图像刻画了纹理模糊特征,正负样本构建的对比损失有利于图像超分辨率图像对纹理细节的恢复。本文模型在4个标准数据集DIV2K、Set14、BSDS100和Urban100上与经典算法进行实验对比,定性和定量实验结果均表明本文模型可以获得效果更好的超分辨率图像。展开更多
基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如...基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。展开更多
本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用...本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用生成器网络、判别器网络进行训练,实现低光照条件下更好的模型生成图像效果.该模型的损失函数包括光照损失、结构相似性损失、内容损失和对抗损失.模型通过构建光照损失函数,利用RGB三原色颜色空间与YIQ颜色空间的线性关系计算出图像中的亮度分量,将图像中的亮度作为损失函数,更好地恢复低光照条件下的低分辨率图像;通过增加结构相似性损失,计算超分辨率图像与真实高分辨率图像之间的结构相似性,提高生成图像的质量;内容损失区别于传统的基于像素的损失,使用VGG19网络中的特征映射进行计算,可以得到更逼真的生成图像;对抗损失使用判别器网络区分超分辨率图像与真实高分辨率图像,提高超分辨率图像的视觉效果.通过在4个标准数据集Set5、Set14、BSDS100和Urban100上设计对比实验,证明通过增加对光照更加敏感的损失函数,使该模型在低光照条件下具有更好的模型生成图像效果;同时通过增加结构相似性损失,使生成的图像视觉质量更好.展开更多
文摘传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on contrast learning,CEDSR)方法,针对残差超分辨率模型,采用对高分辨率图像锐化后的图像作为正样本,对高分辨率图像轻微模糊的图像作为负样本,利用正负样本下的对比损失提升对纹理细节的恢复增强。增强锐化后的正样本图像携带更丰富的纹理信息,基于不同函数生成的模糊负样本图像刻画了纹理模糊特征,正负样本构建的对比损失有利于图像超分辨率图像对纹理细节的恢复。本文模型在4个标准数据集DIV2K、Set14、BSDS100和Urban100上与经典算法进行实验对比,定性和定量实验结果均表明本文模型可以获得效果更好的超分辨率图像。
文摘基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。
文摘本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用生成器网络、判别器网络进行训练,实现低光照条件下更好的模型生成图像效果.该模型的损失函数包括光照损失、结构相似性损失、内容损失和对抗损失.模型通过构建光照损失函数,利用RGB三原色颜色空间与YIQ颜色空间的线性关系计算出图像中的亮度分量,将图像中的亮度作为损失函数,更好地恢复低光照条件下的低分辨率图像;通过增加结构相似性损失,计算超分辨率图像与真实高分辨率图像之间的结构相似性,提高生成图像的质量;内容损失区别于传统的基于像素的损失,使用VGG19网络中的特征映射进行计算,可以得到更逼真的生成图像;对抗损失使用判别器网络区分超分辨率图像与真实高分辨率图像,提高超分辨率图像的视觉效果.通过在4个标准数据集Set5、Set14、BSDS100和Urban100上设计对比实验,证明通过增加对光照更加敏感的损失函数,使该模型在低光照条件下具有更好的模型生成图像效果;同时通过增加结构相似性损失,使生成的图像视觉质量更好.
