人脸超分辨率方法对于低分辨率输入重建很有成效,这些方法往往通过一次或有限次上采样操作提高分辨率,从而构建一种基于前馈结构的网络模型,但这些方法不能完全解决低分辨率到高分辨率人脸图像之间的映射关系,因此生成的图像不够清晰,...人脸超分辨率方法对于低分辨率输入重建很有成效,这些方法往往通过一次或有限次上采样操作提高分辨率,从而构建一种基于前馈结构的网络模型,但这些方法不能完全解决低分辨率到高分辨率人脸图像之间的映射关系,因此生成的图像不够清晰,视觉感知质量差.针对上述问题,本文提出一种基于误差反馈和面部后先验信息的人脸超分辨率重建方法(face super-resolution using error feedback and facial posterior,EFBNet),以获得清晰、逼真的人脸图像.通过一组上下采样操作计算误差,然后反馈误差调整特征的中间表示.这可以理解为一种自校正过程,借助采样操作提供的误差迭代地改变最终结果.此外,设计了一种包含通道级的面部注意力损失和相对判别对抗损失的优化目标,面部注意力损失聚焦于由超分辨率结果预测的精确的后先验信息周围的面部细节,对比由低分辨率输入或中间特征预测的先验信息,该方法可以减少失真,进一步提高生成图像的质量.相对判别对抗损失有助于学习更清晰的边缘和纹理,从而提高图像的清晰度.实验结果表明,该方法可以获得更好的重建结果.展开更多
文摘人脸超分辨率方法对于低分辨率输入重建很有成效,这些方法往往通过一次或有限次上采样操作提高分辨率,从而构建一种基于前馈结构的网络模型,但这些方法不能完全解决低分辨率到高分辨率人脸图像之间的映射关系,因此生成的图像不够清晰,视觉感知质量差.针对上述问题,本文提出一种基于误差反馈和面部后先验信息的人脸超分辨率重建方法(face super-resolution using error feedback and facial posterior,EFBNet),以获得清晰、逼真的人脸图像.通过一组上下采样操作计算误差,然后反馈误差调整特征的中间表示.这可以理解为一种自校正过程,借助采样操作提供的误差迭代地改变最终结果.此外,设计了一种包含通道级的面部注意力损失和相对判别对抗损失的优化目标,面部注意力损失聚焦于由超分辨率结果预测的精确的后先验信息周围的面部细节,对比由低分辨率输入或中间特征预测的先验信息,该方法可以减少失真,进一步提高生成图像的质量.相对判别对抗损失有助于学习更清晰的边缘和纹理,从而提高图像的清晰度.实验结果表明,该方法可以获得更好的重建结果.
