-
题名局部相似度异常的强泛化性伪造人脸检测
- 1
-
-
作者
戴昀书
费建伟
夏志华
刘家男
翁健
-
机构
中山大学网络空间安全学院
南京信息工程大学计算机学院
暨南大学网络空间安全学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2023年第11期3453-3470,共18页
-
基金
国家重点研发计划资助(2022YFB3103100,2020YFB1005600)
国家自然科学基金项目(62122032,62172233,62102189,U1936118,61931004)
江苏省研究生科研与创新项目(KYCX22_1207)。
-
文摘
目的人脸伪造技术迅猛发展,对社会信息安全构成了严重威胁,亟需强泛化性伪造人脸检测算法抵抗多种多样的伪造模型。目前的研究发现伪造算法普遍包含人脸与背景融合的操作,这意味着任何伪造方式都难以避免在人脸边缘遗留下伪造痕迹。根据这一发现,本文将模型的学习目标从特定的伪造痕迹特征转化为更加普适的人脸图像局部相似度特征,并提出了局部相似度异常的深度伪造人脸检测算法。方法首先提出了局部相似度预测(local similarity predicator,LSP)模块,通过一组局部相似度预测器分别计算RGB图像中间层特征图的局部异常,同时,为了捕捉频域中的真伪线索,还提出了可学习的空域富模型卷积金字塔(spatial rich model convolutional pyramid,SRMCP)来提取多尺度的高频噪声特征。结果在多个数据集上进行了大量实验。在泛化性方面,本文以ResNet18为骨干网络的模型在FF++4个子集上的跨库检测精度分别以0.77%、5.59%、6.11%和4.28%的优势超越了对比方法。在图像压缩鲁棒性方面,在3种不同压缩效果下,分别以2.48%、4.83%和10.10%的优势超越了对比方法。结论本文方法能够大幅度提升轻量型卷积神经网络的检测性能,相比于绝大部分工作都取得了更优异的泛化性和鲁棒性效果。
-
关键词
深度伪造人脸检测
空域富模型(SRM)
卷积金字塔
局部学习相似度
多任务学习
-
Keywords
deep face forgery detection
spatially rich model(SRM)
convolutional pyramid
local similarity learning
multi-task learning
-
分类号
TP319.4
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于区块链存证的Deepfake内容监管技术研究
- 2
-
-
作者
毛典辉
赵爽
黄晖煜
郝治昊
-
机构
北京工商大学计算机学院
北京工商大学农产品质量安全追溯技术及应用国家工程实验室
-
出处
《计算机仿真》
北大核心
2023年第2期339-345,350,共8页
-
基金
国家社会科学基金(18BGL202)。
-
文摘
随着人工智能技术的发展,基于深度学习的深度伪造技术日趋成熟,通过多媒体篡改工具可以对视频中的人脸进行随意的篡改,并且几乎无法被肉眼察觉。深度伪造人脸视频成为互联网内容监管中不可或缺的重要部分。以短视频社交平台为应用场景,提出了一种基于区块链存证技术的深度伪造人脸视频内容监管方法。方法针对实际场景中图像内容质量差异的特点设计出一种线性混合的检测方法,在边缘端采用基于轻量级微调神经网络的分类器架构,结合服务器端采取频谱特征进行分类。解决了传统独立检测方法面对数亿级短视频内容的上传与发布过程中检测效率与准确率之间难以平衡的问题。上述方法针对视频文件大且大量转发导致的数据冗余问题,采用超级账本与IPFS相结合的数据存储方式,可以对深度伪造人脸视频内容进行快速精准的追溯并对用户行为进行评价。实验结果表明,所提方法在两个公共深度伪造人脸视频数据集(DeepfakeDetection、Celeb-DF)中都表现出较好的效果,并且在针对内容监管平台的性能测试中表现较好。
-
关键词
深度伪造人脸视频检测
区块链
云存储
存证
内容监管
-
Keywords
Deepfake detection
Blockchain
Cloud storage
Deposit certificate
Content monitoring
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
