-
题名融合参考先验与生成先验的老照片修复
被引量：2
- 1
-
-
作者
刘继鑫
陈瑞
安仕鹏
-
机构
天津大学微电子学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2022年第5期1657-1668,共12页
-
基金
国家自然科学基金项目(61871284)。
-
文摘
目的修复老照片具有重要的实用价值,但老照片包含多种未知复杂的退化,传统的修复方法组合不同的数字图像处理技术进行修复,通常产生不连贯或不自然的修复结果。基于深度学习的修复方法虽然被提出,但大多集中于对单一或有限的退化进行修复。针对上述问题,本文提出一种融合参考先验与生成先验的生成对抗网络来修复老照片。方法对提取的老照片和参考图像的浅层特征进行编码获得深层语义特征与潜在编码,对获得的潜在编码进一步融合获得深度语义编码,深度语义编码通过生成先验网络获得生成先验特征,并且深度语义编码引导条件空间多特征变换条件注意力块进行参考语义特征、生成先验特征与待修复特征的空间融合变换,最后通过解码网络重建修复图像。结果实验与6种图像修复方法进行了定量与定性评估。比较了4种评估指标,本文算法的所有指标评估结果均优于其他算法,PSNR(peak signal-to-noise ratio)为23.69 d B,SSIM(structural similarity index)为0.8283,FID(Fréchet inception distance)为71.53,LPIPS(learned perceptual image patch similarity)为0.309),相比指标排名第2的算法,分别提高了0.75 d B,0.0197,13.69%,19.86%。定性结果中,本文算法具有更好的复杂退化修复能力,修复的细节更加丰富。此外,本文算法相比对比算法更加轻量,推断速度更快,以43.44 M的参数量完成256×256像素分辨率图像推断仅需248 ms。结论本文提出了融合参考先验与生成先验的老照片修复方法,充分利用了参考先验的语义信息与生成模型封装的人像先验,在主观与客观上均取得了先进的修复性能。
-
关键词
深度学习
生成对抗网络(GAN)
老照片修复
参考先验
生成先验
空间特征变换
编解码网络
多尺度感知
-
Keywords
deep learning
generative adversarial network(GAN)
distorted old photos restoration
reference prior
generative prior
spatial feature transformation
encoder-decoder network
multi-scale perception
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于生成先验的无监督音源分离
- 2
-
-
作者
杨海龙
钟维良
曾祥福
-
机构
广东工业大学
-
出处
《工业控制计算机》
2022年第1期60-61,64,共3页
-
文摘
有监督深度神经网络解决音源分离问题的方法获得了很好的分离效果,然而因为有监督方法在训练的过程中需要大量的标签数据,但实际上标签数据并不容易获取。针对无标签音源数据问题,通过利用深度卷积神经网络擅长从大量数据中提取紧凑和稳健的先验信息优势,提出了一种新的基于生成先验的无监督音源分离损失函数。实验结果表明,在信噪比方面比标准基线方法提高1~4dB,能够得到更好的分离后的音频质量。
-
关键词
深度神经网络
音源分离
生成先验
-
Keywords
deep neural network
sound source separation
generative priors
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
TN912
[自动化与计算机技术—控制科学与工程]
-
