期刊文献+
共找到15篇文章
< 1 >
每页显示 20 50 100
工业场景下联邦学习中基于模型诊断的后门防御方法
1
作者 王迅 许方敏 +1 位作者 赵成林 刘宏福 《计算机科学》 CSCD 北大核心 2024年第1期335-344,共10页
联邦学习作为一种能够解决数据孤岛问题、实现数据资源共享的机器学习方法,其特点与工业设备智能化发展的要求相契合。因此,以联邦学习为代表的人工智能技术在工业互联网中的应用越来越广泛。但是,针对联邦学习架构的攻击手段也在不断... 联邦学习作为一种能够解决数据孤岛问题、实现数据资源共享的机器学习方法,其特点与工业设备智能化发展的要求相契合。因此,以联邦学习为代表的人工智能技术在工业互联网中的应用越来越广泛。但是,针对联邦学习架构的攻击手段也在不断更新。后门攻击作为攻击手段的代表之一,有着隐蔽性和破坏性强的特点,而传统的防御方案往往无法在联邦学习架构下发挥作用或者对早期攻击防范能力不足。因此,研究适用于联邦学习架构的后门防御方案具有重大意义。文中提出了一种适用于联邦学习架构的后门诊断方案,能够在无数据情况下利用后门模型的形成特点重构后门触发器,实现准确识别并移除后门模型,从而达到全局模型后门防御的目的。此外,还提出了一种新的检测机制实现对早期模型的后门检测,并在此基础上优化了模型判决算法,通过早退联合判决模式实现了准确率与速度的共同提升。 展开更多
关键词 联邦学习 后门防御 早期后门攻击 后门触发器 早退联合判决
下载PDF
基于局部和全局梯度上升的分段后门防御 被引量:2
2
作者 萧晓彤 丁建伟 张琪 《应用科学学报》 CAS CSCD 北大核心 2023年第2期218-227,共10页
针对后门触发器趋于隐蔽且难以检测的问题,提出了一种基于局部和全局梯度上升的分段后门防御方法:在训练前期,引入局部梯度上升扩大后门样本与干净样本平均训练损失之差,隔离出少量高精度后门样本,便于后期进行后门遗忘;在后门遗忘阶段... 针对后门触发器趋于隐蔽且难以检测的问题,提出了一种基于局部和全局梯度上升的分段后门防御方法:在训练前期,引入局部梯度上升扩大后门样本与干净样本平均训练损失之差,隔离出少量高精度后门样本,便于后期进行后门遗忘;在后门遗忘阶段,引入全局梯度上升,打破后门样本与目标类别之间的相关性,实现防御。实验基于3个基准数据集GTSRB、Cifar10和MNIST,在宽残差网络上针对6种先进后门攻击进行了大量实验,分段后门防御方法能够将绝大部分攻击的成功率防御至5%以下。另外,实验也证明了分段防御方法在后门数据集与干净数据集上都能训练出干净等效的学习模型。 展开更多
关键词 后门防御 后门检测 深度学习 后门攻击 信息安全
下载PDF
基于联邦学习的后门攻击与防御算法综述
3
作者 刘嘉浪 郭延明 +4 位作者 老明瑞 于天元 武与伦 冯云浩 吴嘉壮 《计算机研究与发展》 EI CSCD 北大核心 2024年第10期2607-2626,共20页
联邦学习旨在解决数据隐私和数据安全问题,大量客户端在本地进行分布式训练后,中央服务器再聚合各本地客户端提供的模型参数更新,但中央服务器无法看到这些参数的具体更新过程,这种特性会带来严重的安全问题,即恶意参与者可以在本地模... 联邦学习旨在解决数据隐私和数据安全问题,大量客户端在本地进行分布式训练后,中央服务器再聚合各本地客户端提供的模型参数更新,但中央服务器无法看到这些参数的具体更新过程,这种特性会带来严重的安全问题,即恶意参与者可以在本地模型中训练中毒模型并上传参数,再在全局模型中引入后门功能.关注于联邦学习特有场景下的安全性和鲁棒性研究,即后门攻击与防御,总结了联邦学习下产生后门攻击的场景,并归纳了联邦学习下后门攻击和防御的最新方法,对各种攻击和防御方法的性能进行了比较和分析,揭示了其优势和局限.最后,指出了联邦学习下后门攻击和防御的各种潜在方向和新的挑战. 展开更多
关键词 联邦学习 后门攻击 后门防御 数据隐私 数据安全
下载PDF
神经网络后门攻击与防御综述
4
作者 汪旭童 尹捷 +4 位作者 刘潮歌 徐辰晨 黄昊 王志 张方娇 《计算机学报》 EI CAS CSCD 北大核心 2024年第8期1713-1743,共31页
当前,深度神经网络(Deep Neural Network,DNN)得到了迅速发展和广泛应用,由于其具有数据集庞大、模型架构复杂的特点,用户在训练模型的过程中通常需要依赖数据样本、预训练模型等第三方资源.然而,不可信的第三方资源为神经网络模型的安... 当前,深度神经网络(Deep Neural Network,DNN)得到了迅速发展和广泛应用,由于其具有数据集庞大、模型架构复杂的特点,用户在训练模型的过程中通常需要依赖数据样本、预训练模型等第三方资源.然而,不可信的第三方资源为神经网络模型的安全带来了巨大的威胁,最典型的是神经网络后门攻击.攻击者通过修改数据集或模型的方式实现向模型中植入后门,该后门能够与样本中的触发器(一种特定的标记)和指定类别建立强连接关系,从而使得模型对带有触发器的样本预测为指定类别.为了更深入地了解神经网络后门攻击原理与防御方法,本文对神经网络后门攻击和防御进行了体系化的梳理和分析.首先,本文提出了神经网络后门攻击的四大要素,并建立了神经网络后门攻防模型,阐述了在训练神经网络的四个常规阶段里可能受到的后门攻击方式和防御方式;其次,从神经网络后门攻击和防御两个角度,分别基于攻防者能力,从攻防方式、关键技术、应用场景三个维度对现有研究进行归纳和比较,深度剖析了神经网络后门攻击产生的原因和危害、攻击的原理和手段以及防御的要点和方法;最后,进一步探讨了神经网络后门攻击所涉及的原理在未来研究上可能带来的积极作用. 展开更多
关键词 深度神经网络 触发器 后门攻击 后门防御 攻防模型
下载PDF
文本后门攻击与防御综述
5
作者 郑明钰 林政 +2 位作者 刘正宵 付鹏 王伟平 《计算机研究与发展》 EI CSCD 北大核心 2024年第1期221-242,共22页
深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型... 深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型的新型攻击方式——后门攻击.后门攻击向神经网络注入隐藏的后门,使其在处理包含触发器(攻击者预先定义的图案或文本等)的带毒样本时会产生攻击者指定的输出.目前文本领域已有大量对抗攻击与防御的研究,但对后门攻击与防御的研究尚不充分,缺乏系统性的综述.全面介绍文本领域后门攻击和防御技术.首先,介绍文本领域后门攻击基本流程,并从不同角度对文本领域后门攻击和防御方法进行分类,介绍代表性工作并分析其优缺点;之后,列举常用数据集以及评价指标,将后门攻击与对抗攻击、数据投毒2种相关安全威胁进行比较;最后,讨论文本领域后门攻击和防御面临的挑战,展望该新兴领域的未来研究方向. 展开更多
关键词 后门攻击 后门防御 自然语言处理 预训练模型 AI安全
下载PDF
基于对比训练的联邦学习后门防御方法
6
作者 张佳乐 朱诚诚 +2 位作者 成翔 孙小兵 陈兵 《通信学报》 EI CSCD 北大核心 2024年第3期182-196,共15页
针对现有联邦学习后门防御方法不能实现对模型已嵌入后门特征的有效清除同时会降低主任务准确率的问题,提出了一种基于对比训练的联邦学习后门防御方法 Contra FL。利用对比训练来破坏后门样本在特征空间中的聚类过程,使联邦学习全局模... 针对现有联邦学习后门防御方法不能实现对模型已嵌入后门特征的有效清除同时会降低主任务准确率的问题,提出了一种基于对比训练的联邦学习后门防御方法 Contra FL。利用对比训练来破坏后门样本在特征空间中的聚类过程,使联邦学习全局模型分类结果与后门触发器特征无关。具体而言,服务器通过执行触发器生成算法构造生成器池,以还原全局模型训练样本中可能存在的后门触发器;进而,服务器将触发器生成器池下发给各参与方,各参与方将生成的后门触发器添加至本地样本,以实现后门数据增强,最终通过对比训练有效消除后门攻击的负面影响。实验结果表明,Contra FL能够有效防御联邦学习中的多种后门攻击,且效果优于现有防御方法。 展开更多
关键词 联邦学习 后门攻击 对比训练 触发器 后门防御
下载PDF
深度神经网络后门防御综述
7
作者 江钦辉 李默涵 孙彦斌 《信息安全学报》 CSCD 2024年第4期47-63,共17页
深度学习在各领域全面应用的同时,在其训练阶段和推理阶段也面临着诸多安全威胁。神经网络后门攻击是一类典型的面向深度学习的攻击方式,攻击者通过在训练阶段采用数据投毒、模型编辑或迁移学习等手段,向深度神经网络模型中植入非法后门... 深度学习在各领域全面应用的同时,在其训练阶段和推理阶段也面临着诸多安全威胁。神经网络后门攻击是一类典型的面向深度学习的攻击方式,攻击者通过在训练阶段采用数据投毒、模型编辑或迁移学习等手段,向深度神经网络模型中植入非法后门,使得后门触发器在推理阶段出现时,模型输出会按照攻击者的意图偏斜。这类攻击赋予攻击者在一定条件下操控模型输出的能力,具有极强的隐蔽性和破坏性。因此,有效防御神经网络后门攻击是保证智能化服务安全的重要任务之一,也是智能化算法对抗研究的重要问题之一。本文从计算机视觉领域出发,综述了面向深度神经网络后门攻击的防御技术。首先,对神经网络后门攻击和防御的基础概念进行阐述,分析了神经网络后门攻击的三种策略以及建立后门防御机制的阶段和位置。然后,根据防御机制建立的不同阶段或位置,将目前典型的后门防御方法分为数据集级、模型级、输入级和可认证鲁棒性防御四类。每一类方法进行了详细的分析和总结,分析了各类方法的适用场景、建立阶段和研究现状。同时,从防御的原理、手段和场景等角度对每一类涉及到的具体防御方法进行了综合比较。最后,在上述分析的基础上,从针对新型后门攻击的防御方法、其他领域后门防御方法、更通用的后门防御方法、和防御评价基准等角度对后门防御的未来研究方向进行了展望。 展开更多
关键词 后门防御 后门攻击 人工智能安全 神经网络 深度学习
下载PDF
基于触发器逆向的联邦学习后门防御方法
8
作者 林怡航 周鹏远 +1 位作者 吴治谦 廖勇 《信息网络安全》 CSCD 北大核心 2024年第2期262-271,共10页
联邦学习作为一种新兴分布式机器学习范式,实现了多客户间的分布式协同模型训练,不需要上传用户的原始数据,从而保护了用户隐私。然而,在联邦学习中由于服务器无法审查客户端的本地数据集,恶意客户端可通过数据投毒将后门嵌入全局模型... 联邦学习作为一种新兴分布式机器学习范式,实现了多客户间的分布式协同模型训练,不需要上传用户的原始数据,从而保护了用户隐私。然而,在联邦学习中由于服务器无法审查客户端的本地数据集,恶意客户端可通过数据投毒将后门嵌入全局模型。传统的联邦学习后门防御方法大多基于模型检测的思想进行后门防御,而忽略了联邦学习自身的分布式特性。因此,文章提出一种基于触发器逆向的联邦学习后门防御方法,使聚合服务器和分布式客户端协作,利用触发器逆向技术生成额外的数据,增强客户端本地模型的鲁棒性,从而进行后门防御。在不同数据集上进行实验,实验结果表明,文章提出的方法可以有效防御后门攻击。 展开更多
关键词 联邦学习 后门攻击 后门防御 鲁棒性训练 触发器逆向
下载PDF
基于样本损失值变化统一性的后门样本隔离
9
作者 张家辉 《现代信息科技》 2024年第11期44-48,共5页
后门攻击对人工智能的应用构成潜在威胁。基于遗忘的鲁棒训练方法可通过隔离后门样本的子集并遗忘该子集,实现在不受信的数据集上训练无后门的模型。然而,错误隔离并遗忘干净样本会导致模型在干净数据上的性能受到损害。为了减少对干净... 后门攻击对人工智能的应用构成潜在威胁。基于遗忘的鲁棒训练方法可通过隔离后门样本的子集并遗忘该子集,实现在不受信的数据集上训练无后门的模型。然而,错误隔离并遗忘干净样本会导致模型在干净数据上的性能受到损害。为了减少对干净样本的错误隔离,进而保护模型在干净数据上的性能,提出基于样本损失值变化统一性的后门样本隔离方案。后门样本训练过程中损失值的变化较大且较为统一,在隔离的潜在后门样本集中损失值变化统一性较低的样本可以被移除。实验结果表明,应用该方案能够减少对干净样本的错误隔离,在不影响后门防御效果的基础上保护了模型在干净数据上的性能。 展开更多
关键词 人工智能安全 后门防御 鲁棒训练 后门样本隔离 神经网络模型
下载PDF
深度神经网络中的后门攻击与防御技术综述 被引量:1
10
作者 钱汉伟 孙伟松 《计算机科学与探索》 CSCD 北大核心 2023年第5期1038-1048,共11页
神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以... 神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。 展开更多
关键词 深度神经网络 后门攻击 后门防御 触发器
下载PDF
抑制图像非语义信息的通用后门防御策略
11
作者 郭钰生 钱振兴 +1 位作者 张新鹏 柴洪峰 《中国图象图形学报》 CSCD 北大核心 2023年第3期836-849,共14页
目的后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该... 目的后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论提出的非语义信息抑制防御方法能够在不需要相关先验知识的情况下将含触发器的样本纠正为正常样本,并且保持对干净样本的分类准确率。 展开更多
关键词 卷积神经网络(CNN) 模型安全 图像分类 神经网络后门 后门防御
原文传递
基于多级信任度量的群体学习后门威胁防护
12
作者 陈贝 李高磊 《现代信息科技》 2023年第18期119-124,128,共7页
群体学习是一种基于区块链的分布式模型协同训练框架。由于接入设备类型和用户信任关系多变,群体学习中可能存在由恶意节点发起的投毒行为和后门传播效应。文章从多级信任度量的角度展开研究,首先,通过组合针对区块链的日蚀攻击和针对... 群体学习是一种基于区块链的分布式模型协同训练框架。由于接入设备类型和用户信任关系多变,群体学习中可能存在由恶意节点发起的投毒行为和后门传播效应。文章从多级信任度量的角度展开研究,首先,通过组合针对区块链的日蚀攻击和针对联邦学习的分布式后门攻击构造一种具有强传染性的攻击方法;其次,结合基于数字签名的用户身份认证和基于模型逆向的后门异常检测建立一个多级信任度量模型;最后,利用群体学习的交叉验证机制进行后门模型剔除以及异常节点注销。实验结果表明,该文提出的防护方案能够有效增强群体学习框架下机器学习模型的安全性。 展开更多
关键词 群体学习 区块链 联邦学习 多级信任度量 后门防御
下载PDF
应用程序作弊型后门防御模型 被引量:4
13
作者 徐钦桂 刘桂雄 《计算机工程与设计》 CSCD 北大核心 2010年第11期2423-2426,2438,共5页
针对基于程序特征码检测清除后门代码的传统方法容易存在漏检的问题,在分析内嵌作弊型后门程序结构和后门激活机制的基础上,获得了利用合法消息建立后门控制信息传输隐通道的最小条件,提出一种基于打破后门激活条件预防作弊型后门的应... 针对基于程序特征码检测清除后门代码的传统方法容易存在漏检的问题,在分析内嵌作弊型后门程序结构和后门激活机制的基础上,获得了利用合法消息建立后门控制信息传输隐通道的最小条件,提出一种基于打破后门激活条件预防作弊型后门的应用程序模型。通过对合法消息进行检查、缓冲和转换,拦截携带隐蔽信息的合法消息,打破隐藏于其中的后门控制信息编码,并通过事件日志审计检测漏过的非法操作和后门活动。在基于PC虚拟称重仪器上进行了实验,实验结果表明了该模型保护应用程序防御后门作弊的有效性。 展开更多
关键词 作弊后门 隐蔽通道 后门防御模型 信息安全 消息拦截
下载PDF
图像内容精细化感知及其安全关键技术研究
14
作者 王蕊 荆丽桦 +2 位作者 邹聪 吕飞霄 朱子璇 《人工智能》 2024年第1期9-23,共15页
图像内容精细化感知是计算机视觉领域内的一个基础性问题,旨在对图像中包含的信息进行精细化理解,具有重要的研究价值和广阔的应用场景。根据关注范围的不同,图像内容精细化感知主要包括细粒度识别、场景图生成和图像描述等方面。本文... 图像内容精细化感知是计算机视觉领域内的一个基础性问题,旨在对图像中包含的信息进行精细化理解,具有重要的研究价值和广阔的应用场景。根据关注范围的不同,图像内容精细化感知主要包括细粒度识别、场景图生成和图像描述等方面。本文首先对各关键技术的研究进展和现状进行综述;然后讨论了直接影响感知模型预测结果的安全威胁,概述了相关攻击及防御技术的研究进展;最后对该领域的未来发展趋势作出展望。 展开更多
关键词 图像识别 细粒度感知 场景图生成 图像描述 对抗攻击及防御 后门攻击及防御
下载PDF
深度学习模型安全性研究综述
15
作者 孙钰媛 王璇 陆余良 《信息对抗技术》 2023年第4期93-112,共20页
随着智能化进程的不断加快,以深度学习为代表的人工智能技术得到不断发展。深度学习在众多领域得到广泛应用的同时,其中存在的安全问题也逐渐暴露。普通用户通常难以支撑深度学习所需的大量数据和算力,转而寻求第三方帮助,此时深度学习... 随着智能化进程的不断加快,以深度学习为代表的人工智能技术得到不断发展。深度学习在众多领域得到广泛应用的同时,其中存在的安全问题也逐渐暴露。普通用户通常难以支撑深度学习所需的大量数据和算力,转而寻求第三方帮助,此时深度学习模型由于失去监管而面临严重安全问题。而深度学习模型在全周期内均会遭受后门攻击威胁,使得深度学习模型表现出极大脆弱性,严重影响人工智能的安全应用。从深度学习模型所需资源条件来看,训练数据、模型结构、支撑平台均能成为后门攻击的媒介,根据攻击媒介的不同将攻击方案划分为基于数据毒化、模型毒化、平台毒化3种类型。介绍了对其威胁模型及主要工作,在此基础上,梳理了针对现有后门攻击的防御措施。最后,结合所在团队的相关工作,并根据当前相关技术研究进展及实际,探讨未来研究方向。 展开更多
关键词 深度学习 模型安全 后门攻击与防御
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部