-
题名融合参考先验与生成先验的老照片修复
被引量：2
- 1
-
-
作者
刘继鑫
陈瑞
安仕鹏
-
机构
天津大学微电子学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2022年第5期1657-1668,共12页
-
基金
国家自然科学基金项目(61871284)。
-
文摘
目的修复老照片具有重要的实用价值,但老照片包含多种未知复杂的退化,传统的修复方法组合不同的数字图像处理技术进行修复,通常产生不连贯或不自然的修复结果。基于深度学习的修复方法虽然被提出,但大多集中于对单一或有限的退化进行修复。针对上述问题,本文提出一种融合参考先验与生成先验的生成对抗网络来修复老照片。方法对提取的老照片和参考图像的浅层特征进行编码获得深层语义特征与潜在编码,对获得的潜在编码进一步融合获得深度语义编码,深度语义编码通过生成先验网络获得生成先验特征,并且深度语义编码引导条件空间多特征变换条件注意力块进行参考语义特征、生成先验特征与待修复特征的空间融合变换,最后通过解码网络重建修复图像。结果实验与6种图像修复方法进行了定量与定性评估。比较了4种评估指标,本文算法的所有指标评估结果均优于其他算法,PSNR(peak signal-to-noise ratio)为23.69 d B,SSIM(structural similarity index)为0.8283,FID(Fréchet inception distance)为71.53,LPIPS(learned perceptual image patch similarity)为0.309),相比指标排名第2的算法,分别提高了0.75 d B,0.0197,13.69%,19.86%。定性结果中,本文算法具有更好的复杂退化修复能力,修复的细节更加丰富。此外,本文算法相比对比算法更加轻量,推断速度更快,以43.44 M的参数量完成256×256像素分辨率图像推断仅需248 ms。结论本文提出了融合参考先验与生成先验的老照片修复方法,充分利用了参考先验的语义信息与生成模型封装的人像先验,在主观与客观上均取得了先进的修复性能。
-
关键词
深度学习
生成对抗网络(GAN)
老照片修复
参考先验
生成先验
空间特征变换
编解码网络
多尺度感知
-
Keywords
deep learning
generative adversarial network(GAN)
distorted old photos restoration
reference prior
generative prior
spatial feature transformation
encoder-decoder network
multi-scale perception
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于深度学习与图像锐化策略的老照片修复方法
被引量：1
- 2
-
-
作者
员旭拓
何小海
-
机构
四川大学电子信息学院
-
出处
《应用科技》
CAS
2022年第3期69-75,共7页
-
基金
国家自然科学基金项目(61871279)。
-
文摘
年代久远的老照片是多种图像降质因素的复合,为解决当前研究仅针对某一降质影响,无法实际应用于真实场景下的老照片修复任务,且端到端的老照片修复输出对结果多样化不具有鲁棒性的问题,本文构建了一个基于深度学习的交互式老照片修复系统。针对图像褪色、画质模糊、图像缺损问题,实现对老照片清晰度的提升。根据老照片中人像占比分类修补破损区域,全图像着色与区域多样化着色,在引入极少量用户信息的情况下将输入老照片映射到完整的彩色输出图。实验结果表明,该修复系统可以获得较好地满足人眼视觉观察、多样化的修复结果。
-
关键词
深度学习
老照片修复
计算机视觉
神经网络
图像修补
图像着色
图像降噪
图像锐化
-
Keywords
deep learning
old photo restoration
computer vision
neural network
image inpainting
image colorization
image denoising
image sharpening
-
分类号
TP751.1
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于生成对抗网络的破损老照片修复
被引量：1
- 3
-
-
作者
陈圆圆
刘惠义
-
机构
河海大学计算机与信息学院
-
出处
《计算机与现代化》
2021年第4期42-47,共6页
-
基金
江苏省水利厅科技计划项目(2017003ZB)。
-
文摘
提出一种基于生成对抗网络的破损老照片修复方法。生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域。考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性。此外,生成器的损失函数除了基础的对抗损失以外,还加入了感知损失、风格损失和重构损失,以增强网络稳定性。在CelebA-HQ数据集和真实破损老照片上进行实验,实验结果表明,该方法不受破损情况的限制,对破损老照片可以达到不错的修复效果。
-
关键词
生成对抗网络
局部卷积
上下文注意力
老照片修复
-
Keywords
generative adversarial networks
partial convolution
contextual attention
old photos inpainting
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
