-
题名基于自判别循环生成对抗网络的人脸图像翻译
被引量：3
- 1
-
-
作者
王清和
曹兵
朱鹏飞
王楠楠
胡清华
高新波
-
机构
天津大学天津市机器学习重点实验室
西安电子科技大学综合业务网理论及关键技术国家重点实验室
重庆邮电大学重庆市图像认知重点实验室
-
出处
《中国科学：信息科学》
CSCD
北大核心
2022年第8期1447-1462,共16页
-
基金
国家自然科学基金(批准号:62106171,61922066,61925602,61876127,62036007,61876142)
中国博士后科学基金(批准号:2020M680034)
国家重点研发计划(批准号:2019YFB2101904)资助项目。
-
文摘
人脸跨域翻译是将人脸图像从一个图像域映射到另一个图像域的过程,常见的人脸图像翻译任务包括人脸照片–素描、人脸照片–线条画跨域翻译等,可以广泛应用于现实场景,如协助刑侦、电影制作、数字娱乐.但是成对的人脸图像数据有限,且不同域之间的颜色、纹理差异较大,导致人脸图像跨域翻译仍面临着巨大挑战.现有的方法通常会产生模糊、伪影、结构失真等问题,导致较差的视觉效果.为解决这一问题,我们提出了一个自判别循环生成对抗网络,其中,生成器部分采用编码器–解码器结构,生成器对应的判别器为翻译方向相反的编码器,通过自判别的形式,使编码器(即判别器)巧妙地融合了“真/假”语义判别能力与对像素改变的敏感性,从而增强了模型的稳健性和泛化能力.其次,我们提出了一个新颖的全向像素梯度损失函数,设计的卷积核计算了每个像素周围每个方向的梯度来提取图像的梯度信息,通过约束生成图像与对应真实图像的梯度信息保持一致,从而激励模型有效地学习像素间连续变化的模式,并且该损失函数可以灵活地应用于其他生成模型以提升性能.大量的实验表明本文提出的框架能够在公开的成对的人脸照片–素描数据集(CUFS,CUFSF)以及人脸照片–线条画数据集(APDrawing)上取得优异的结果.此外,通过泛化能力验证实验,我们进一步展示了模型在真实场景数据上的强泛化能力,以及自判别循环生成对抗网络结构在非成对人脸数据集上的出色性能.
-
关键词
人脸图像翻译
自判别循环生成对抗网络
梯度损失
照片–素描
照片–线条画
-
Keywords
face image translation
self-discriminative cycle generative adversarial network
gradient loss
photo-sketch
photo-APDrawing
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—计算机科学与技术]
-
