提出一种基于人体皮肤多线性(Skinned Multiple Person Linear,SMPL)模型的3D动画重建方法。将SMPL模型与一副图像进行拟合,对SMPL轮廓进行扭曲,以匹配原始图像中目标人物轮廓;向投影SMPL法线贴图和蒙皮贴图应用该扭曲,获得可用于构建...提出一种基于人体皮肤多线性(Skinned Multiple Person Linear,SMPL)模型的3D动画重建方法。将SMPL模型与一副图像进行拟合,对SMPL轮廓进行扭曲,以匹配原始图像中目标人物轮廓;向投影SMPL法线贴图和蒙皮贴图应用该扭曲,获得可用于构建人物的正面视图和背面视图;将视图与拟合的3D骨架相结合,以重建目标人物轮廓。此外,针对自遮挡问题,提出一个解决方案。对包括艺术作品、海报、涂鸦等正面图进行测试,通过提出的用户接口改变3D人物姿态,通过编辑和调整,从单幅人物图像重建的3D动画接近现实动画。所提方法在细节处理方面较好,手部、头发等纹理细节部分得到了较好的保留和再现,优于一些同类方法。展开更多
针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一...针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。展开更多
文摘提出一种基于人体皮肤多线性(Skinned Multiple Person Linear,SMPL)模型的3D动画重建方法。将SMPL模型与一副图像进行拟合,对SMPL轮廓进行扭曲,以匹配原始图像中目标人物轮廓;向投影SMPL法线贴图和蒙皮贴图应用该扭曲,获得可用于构建人物的正面视图和背面视图;将视图与拟合的3D骨架相结合,以重建目标人物轮廓。此外,针对自遮挡问题,提出一个解决方案。对包括艺术作品、海报、涂鸦等正面图进行测试,通过提出的用户接口改变3D人物姿态,通过编辑和调整,从单幅人物图像重建的3D动画接近现实动画。所提方法在细节处理方面较好,手部、头发等纹理细节部分得到了较好的保留和再现,优于一些同类方法。
文摘针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。
