-
题名双重对比学习框架下近红外-可见光人脸图像转换方法
被引量：5
- 1
-
-
作者
孙锐
单晓全
孙琦景
韩春军
张旭东
-
机构
合肥工业大学计算机与信息学院
工业安全与应急技术安徽省重点实验室
安徽省蚌埠市公安局科技信息科
-
出处
《光电工程》
CAS
CSCD
北大核心
2022年第4期26-38,共13页
-
基金
国家自然科学基金面上项目(61471154,61876057)
安徽省重点研发计划-科技强警专项(202004d07020012)。
-
文摘
随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。
-
关键词
跨模态人脸识别
人脸图像转换
对比学习
StyleGAN2
-
Keywords
cross-modal face recognition
face image translation
contrastive learning
StyleGAN2
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于无监督生成对抗网络的人脸素描图像真实化
被引量：4
- 2
-
-
作者
陈金龙
刘雄飞
詹曙
-
机构
合肥工业大学计算机与信息学院
-
出处
《计算机工程与科学》
CSCD
北大核心
2021年第1期125-133,共9页
-
基金
国家自然科学基金(61371156)。
-
文摘
对于人脸识别验证的研究带动了执法机构和数字娱乐行业将素描转化为真实人脸图像的需求和兴趣。到目前为止,由于网络训练阶段缺乏配对的数据,加上素描与真实照片之间存在着明显的模态差异,现有的方法仍然存在着不可解决的局限性。利用跨域语义一致性损失使输入和输出保持相同的语义信息,并用感知损失替换像素级的循环一致性损失以生成高分辨率图像。将PGGAN的生成器与生成对抗网络的损失函数一起训练以生成目标域真实图像,循环一致性损失则驱动同域图像保持一致。基于2个开源数据集的实验说明了所提模型在主观评价和客观标准上的有效性。
-
关键词
异质人脸图像转换
无监督学习
生成对抗网络
-
Keywords
face sketch-photo synthesis
unsupervised learning
generative adversarial network
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
