为解决目前深度仿造检测方法对于跨数据集的检测性能难以提高的问题,提出基于注意力机制和一致性损失相结合的深度伪造人脸检测方法(method based on attention mechanism and consistency loss,MAMCL)。采用多注意力机制,迫使网络捕捉...为解决目前深度仿造检测方法对于跨数据集的检测性能难以提高的问题,提出基于注意力机制和一致性损失相结合的深度伪造人脸检测方法(method based on attention mechanism and consistency loss,MAMCL)。采用多注意力机制,迫使网络捕捉到更细微的局部异常。采用基于注意力机制的擦除方式,鼓励模型深入挖掘之前忽略的区域。设计一致性模块获取伪造图像中普遍存在的不一致细节特征,并应用一致性损失引导模型更加关注伪造细节。在面部取证++(FaceForensics++,FF++)数据集上进行实验,准确率达到96.38%,受试者工作特征曲线(receiver operating characteristic curve,ROC)的曲线下面积达到99.34%,在泛化性能测试中也取得了良好的效果。通过消融实验,证明了每个模块的有效性。结果表明,提出的检测方法能够较为准确地检测深度伪造人脸,且具有良好的泛化性能,可以作为应对当前人脸伪造威胁的有效检测手段。展开更多
文摘为解决目前深度仿造检测方法对于跨数据集的检测性能难以提高的问题,提出基于注意力机制和一致性损失相结合的深度伪造人脸检测方法(method based on attention mechanism and consistency loss,MAMCL)。采用多注意力机制,迫使网络捕捉到更细微的局部异常。采用基于注意力机制的擦除方式,鼓励模型深入挖掘之前忽略的区域。设计一致性模块获取伪造图像中普遍存在的不一致细节特征,并应用一致性损失引导模型更加关注伪造细节。在面部取证++(FaceForensics++,FF++)数据集上进行实验,准确率达到96.38%,受试者工作特征曲线(receiver operating characteristic curve,ROC)的曲线下面积达到99.34%,在泛化性能测试中也取得了良好的效果。通过消融实验,证明了每个模块的有效性。结果表明,提出的检测方法能够较为准确地检测深度伪造人脸,且具有良好的泛化性能,可以作为应对当前人脸伪造威胁的有效检测手段。
