针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一...针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。展开更多
由于外在因素导致出土的文物模型呈现破碎状态,对其进行虚拟修复对考古学具有重要意义。现有孔洞修补方法大多仅针对三维模型结构进行补全,并且在三维结构修复后缺少表面的颜色纹理信息。本文基于文物三维空间结构和纹理信息,提出一种...由于外在因素导致出土的文物模型呈现破碎状态,对其进行虚拟修复对考古学具有重要意义。现有孔洞修补方法大多仅针对三维模型结构进行补全,并且在三维结构修复后缺少表面的颜色纹理信息。本文基于文物三维空间结构和纹理信息,提出一种三维文物孔洞修复方法。首先,为了解决三维文物结构修复问题,利用基于径向基函数的算法填补三维文物网格模型的孔洞,通过拟合的曲面方程调整孔洞补丁顶点,使其与原有模型更好地融合。其次,为补全文物表面颜色纹理信息,使孔洞补丁与原有模型表面纹理自然过渡,将三维问题转化为二维图像修复问题,以EdgeConnect为框架,通过添加精细化网络生成更高分辨率的结果。最后,使用Mudbox软件映射二维图像到三维模型表面,融合结构和纹理修复的结果。本文改进后的二维修复网络在评价指标PSNR(Peak Signal to Noise Ratio)、SSIM(Structural Similarity)和MAE(Mean Absolute Deviation)的性能分别提高了0.54%、0.217%和6.52%,该方法能够有效地恢复兵马俑三维模型网格结构和表面纹理信息。展开更多
文摘针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。
文摘由于外在因素导致出土的文物模型呈现破碎状态,对其进行虚拟修复对考古学具有重要意义。现有孔洞修补方法大多仅针对三维模型结构进行补全,并且在三维结构修复后缺少表面的颜色纹理信息。本文基于文物三维空间结构和纹理信息,提出一种三维文物孔洞修复方法。首先,为了解决三维文物结构修复问题,利用基于径向基函数的算法填补三维文物网格模型的孔洞,通过拟合的曲面方程调整孔洞补丁顶点,使其与原有模型更好地融合。其次,为补全文物表面颜色纹理信息,使孔洞补丁与原有模型表面纹理自然过渡,将三维问题转化为二维图像修复问题,以EdgeConnect为框架,通过添加精细化网络生成更高分辨率的结果。最后,使用Mudbox软件映射二维图像到三维模型表面,融合结构和纹理修复的结果。本文改进后的二维修复网络在评价指标PSNR(Peak Signal to Noise Ratio)、SSIM(Structural Similarity)和MAE(Mean Absolute Deviation)的性能分别提高了0.54%、0.217%和6.52%,该方法能够有效地恢复兵马俑三维模型网格结构和表面纹理信息。
