期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
基于Inception3D网络的眼部与口部区域协同视频换脸伪造检测 被引量:7
1
作者 韩语晨 华光 张海剑 《信号处理》 CSCD 北大核心 2021年第4期567-577,共11页
近年来出现并迅猛发展的深度伪造(DeepFake)技术深刻改变了多媒体内容伪造的方式和水平,给网络空间内容安全带来了新的严峻挑战。本文主要关注深度伪造中危害最大的视频换脸伪造,提出基于I3D(Inception3D)网络的眼部与口部双流检测方法... 近年来出现并迅猛发展的深度伪造(DeepFake)技术深刻改变了多媒体内容伪造的方式和水平,给网络空间内容安全带来了新的严峻挑战。本文主要关注深度伪造中危害最大的视频换脸伪造,提出基于I3D(Inception3D)网络的眼部与口部双流检测方法。首先,针对现有大多数伪造检测方法忽略了视频中重要的时间信息的问题,将目前常用的仅具备空域感受能力的2D卷积拓展为I3D卷积,赋予网络同时感受空域和时域信息的能力。同时,通过调整I3D网络结构使其从原有的多分类任务设计改进为更适合换脸取证二分类任务的高效网络。进一步,考虑到视频换脸操作中眼部和口部区域伪造难度更大也更容易留下篡改痕迹的特点,提出基于这两个区域的双流网络结构,最终利用双流输出结果实现协同决策。通过在Celeb-DF、DFDC、DeepFakeDetection、FaceForensics++等目前常用数据集上的广泛实验,结果表明本文提出的方法在检测准确性和效率上较目前最先进的Xception和标准I3D网络均得到显著提升。 展开更多
关键词 深度伪造 高效Inception3D神经网络 双流特征 视频换脸
下载PDF
视频相似性检测方法综述
2
作者 李雪 王忠 +2 位作者 范青刚 刘延飞 陈菁 《火箭军工程大学学报》 2024年第2期88-102,共15页
针对大数据时代服务器端存在众多冗余数据,降低文件检索效率的问题,对代表性的视频相似性检测方法和研究进展进行了总结。首先,介绍了相似性视频的定义及检测流程,分析完整检测系统应具备的视频预处理、特征提取、特征匹配3大模块,并详... 针对大数据时代服务器端存在众多冗余数据,降低文件检索效率的问题,对代表性的视频相似性检测方法和研究进展进行了总结。首先,介绍了相似性视频的定义及检测流程,分析完整检测系统应具备的视频预处理、特征提取、特征匹配3大模块,并详述了具体实施方法;然后,针对视频相似性检测方法展开阐述,从基于视频时空信息分类、视频特征分类和视频多模态检测方法3个层面深入分析了各方案的实现原理及优缺点;最后,对相似性检测领域常用的数据集进行归纳,对经典算法的检测性能进行了对比,并探讨了视频相似性检测领域存在的问题,对未来发展趋势进行了展望。 展开更多
关键词 计算机视觉 视频相似性检测 双流特征 卷积神经网络 多模态
下载PDF
结合双流特征融合及对抗学习的图像显著性检测 被引量:5
3
作者 张艺涵 张朝晖 +2 位作者 霍丽娜 解滨 王秀青 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第3期376-384,共9页
为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实... 为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图送入卷积塔模块,以增强级内特征图的多尺度信息;进一步,采用自顶向下、跨流特征图逐级侧向融合方式生成显著图;最后,在条件生成对抗网络的主体框架下,利用对抗学习提升显著性检测结果与显著目标的结构相似性.以P-R曲线、F-measure、平均绝对误差、S-measure为评价指标,在ECSSD,PASCAL-S,DUT-OMRON以及DUTS-test 4个公开数据集上与其他10种基于深度学习的显著性检测算法的对比实验表明,SaTSAL算法优于其他大部分算法. 展开更多
关键词 显著性检测 双流特征融合 对抗学习 卷积塔 条件生成对抗网络
下载PDF
基于跨模态引导和对齐的多模态预训练方法
4
作者 才华 易亚希 +2 位作者 付强 冉越 孙俊喜 《电子学报》 EI CAS CSCD 北大核心 2024年第10期3368-3381,共14页
现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的... 现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的双流特征提取网络,在视觉编码器中联合图像和文本信息逐层引导视觉序列压缩,缓解与文本无关的冗余视觉信息对模态间细粒度交互的干扰;在模态特征对齐阶段,对图像和文本特征进行细粒度关系推理,实现视觉标记与文本标记的局部特征对齐,增强对模态间细粒度对齐关系的理解.实验结果表明,本文方法能够更好地对齐视觉文本的细粒度特征,在图文检索任务中,微调后的图像检索和文本检索的平均召回率分别达到了86.4%和94.88%,且零样本图文检索的整体指标相较于经典图文检索算法CLIP(Contrastive Language-Image Pre-training)提升了5.36%,在视觉问答等分类任务中,准确率也优于目前主流多模态预训练方法. 展开更多
关键词 多模态预训练 跨模态引导 视觉序列压缩 双流特征提取 细粒度关系推理 局部特征对齐
下载PDF
基于双流特征互补的嵌套命名实体识别
5
作者 黄荣梅 廖涛 +1 位作者 张顺香 段松松 《计算机工程与设计》 北大核心 2024年第3期799-805,共7页
针对以往句子在文本编码后不能获得高效的特征信息,提出一种基于双流特征互补的嵌套命名实体识别模型。句子在嵌入时以单词的字级别和字符级别两种方式嵌入,分别通过神经网络Bi-LSTM获取句子上下文信息,两个向量进入低层级与高层级的特... 针对以往句子在文本编码后不能获得高效的特征信息,提出一种基于双流特征互补的嵌套命名实体识别模型。句子在嵌入时以单词的字级别和字符级别两种方式嵌入,分别通过神经网络Bi-LSTM获取句子上下文信息,两个向量进入低层级与高层级的特征互补模块,实体词识别模块和细粒度划分模块对实体词区间进行细粒度划分,获取内部实体。实验结果表明,模型相较于经典模型在特征提取上有较大的提升。 展开更多
关键词 命名实体识别 自然语言处理 嵌套结构 双流特征互补 神经网络 实体词识别 细粒度划分
下载PDF
基于光度立体和双流特征融合网络的工业产品表面缺陷检测方法
6
作者 胡广华 涂千禧 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2024年第10期112-123,共12页
表面缺陷检测是现代工业生产流程中的重要环节。现有的视觉缺陷检测方法一般通过对目标对象的单幅RGB或灰度图像进行分析,利用缺陷与背景之间的差异性特征实现检测,适用于目标与背景呈较大区别的对象,如金属表面的氧化、斑点缺陷检测。... 表面缺陷检测是现代工业生产流程中的重要环节。现有的视觉缺陷检测方法一般通过对目标对象的单幅RGB或灰度图像进行分析,利用缺陷与背景之间的差异性特征实现检测,适用于目标与背景呈较大区别的对象,如金属表面的氧化、斑点缺陷检测。但单纯的RGB图像无法有效地表征主要由深度变化形成的凹坑、凸包等3维缺陷特征,最终导致漏检。为此,文中根据多方向光照成像及光度立体原理提取待测对象表面的3维几何形貌信息;接着,利用对比度金字塔融合算法对原始的多方向光照图像进行有效融合,得到增强的缺陷的2维RGB融合图像特征;然后,在多目标检测框架YOLOv5的基础上,以上述几何形貌及RGB融合图像为输入,构建一种基于双流特征融合的缺陷检测网络模型,该模型引入了空间通道注意力残差模块和门控循环单元特征融合模块,能在多个层级对不同模态特征进行有机融合,实现对表面缺陷的2维RGB及3维形貌信息的有效提取,达到同时应对2维和3维缺陷检测的目的;最后对若干典型工业产品表面缺陷进行检测实验。结果表明,文中方法在多个数据集上的平均检测准确率均超过90%,且能同时应对2维、3维缺陷的检测,检测性能优于目前的主流方法,能够适应不同工业产品表面的检测需求。 展开更多
关键词 光度立体 缺陷检测 深度学习 双流特征融合
下载PDF
自监督双流融合的小样本雷达辐射源识别方法 被引量:1
7
作者 郑博元 丛迅超 +1 位作者 胡超 陈杰梅 《电讯技术》 北大核心 2023年第9期1340-1347,共8页
针对实际场景中辐射源数据稀缺造成的小样本问题,提出了一种基于自监督和双流融合的小样本雷达辐射源识别方法。首先利用高斯分布噪声、莱斯多径衰落、设计时钟偏移信号等减损方法,基于有限数量的真实样本构建类均衡辐射源信号样本集。... 针对实际场景中辐射源数据稀缺造成的小样本问题,提出了一种基于自监督和双流融合的小样本雷达辐射源识别方法。首先利用高斯分布噪声、莱斯多径衰落、设计时钟偏移信号等减损方法,基于有限数量的真实样本构建类均衡辐射源信号样本集。基于增强数据集,提出一种信号时间序列与时频图的双流特征融合模型。采用对比学习方法构建双流特征融合模型的自监督上游任务,以提升在有限标签数据情况下信号多域特征的表征能力与泛化能力。实验结果证明,该方法在小样本条件下能够有效地实现较好的辐射源类型识别能力,在目标域每个类别100个样本限制下,识别精度达到97.1%,与传统一维特征方法和基于长短期记忆(Long Short Term Memory,LSTM)的方法相比均有较大提升。 展开更多
关键词 雷达辐射源识别 自监督学习 小样本学习 双流特征融合
下载PDF
结合Transformer与CNN的双向级联皮肤病图像分割网络
8
作者 王晶 杜艺璠 《微型计算机》 2024年第11期25-27,共3页
皮肤病图像分割是皮肤癌诊断和分析的关键步骤。卷积神经网络(CNNs)在各种医学图像分割任务中取得了巨大的成功。然而,连续的降采样操作带来了网络的冗余性和局部细节的丢失,并且在远程关系的建模中也存在很大的局限性。相反,Transforme... 皮肤病图像分割是皮肤癌诊断和分析的关键步骤。卷积神经网络(CNNs)在各种医学图像分割任务中取得了巨大的成功。然而,连续的降采样操作带来了网络的冗余性和局部细节的丢失,并且在远程关系的建模中也存在很大的局限性。相反,Transformer在全局上下文建模方面显示出巨大的潜力。在文中,提出了一种结合Transformer与CNN的双向级联皮肤病图像分割网络,以提高网络在全局环境建模的效率,同时保持对底层细节的控制。此外,还构建了一种新的融合技术—双流级联特征聚合模块,以有效地集成来自两个分支的多层次特征。所提网络并行地结合了Transformer和CNN,其中可以有效地捕获全局依赖性和低级空间细节。大量的实验表明,所提网络在皮肤病分割数据集上取得了很好的性能。 展开更多
关键词 皮肤病分割 TRANSFORMER CNN 双流级联特征聚合模块
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部