-
题名深度学习框架测试研究综述
被引量：1
- 1
-
-
作者
马祥跃
杜晓婷
采青
郑阳
胡崝
郑征
-
机构
北京航空航天大学自动化科学与电气工程学院
北京邮电大学计算机学院(国家示范性软件学院)
华为技术有限公司可信理论、技术与工程实验室
-
出处
《软件学报》
EI
CSCD
北大核心
2024年第8期3752-3784,共33页
-
基金
国家自然科学基金(61772055,61872169)
中央高校基本科研业务费专项资金(2023RC06)。
-
文摘
随着大数据和计算能力的快速发展,深度学习技术取得巨大突破,并迅速成为一个具有众多实际应用场景和活跃研究课题的领域.为了满足日益增长的深度学习任务开发需求,深度学习框架应运而生.深度学习框架作为连接应用场景和硬件平台的中间部件,向上支撑深度学习应用的开发,帮助用户快速构造不同的深度神经网络模型,向下深度适配各类计算硬件,满足不同算力架构和环境下的计算需求.作为人工智能领域的关键基础软件,深度学习框架中一旦存在问题,即使是一个只有几行代码的缺陷都可能导致在其基础上构造的模型发生大规模失效,严重威胁深度学习系统安全.作为以深度学习框架测试为主题的研究性综述,首先对深度学习框架发展历程和基本架构进行介绍;其次,通过对55篇与深度学习框架测试研究直接相关的学术论文进行梳理,对深度学习框架缺陷特性、测试关键技术和基于不同测试输入形式的测试方法这3个方面进行系统分析和总结;针对不同测试输入形式的特点,重点探究如何结合测试关键技术来解决研究问题;最后对深度学习框架测试尚未解决的难点问题进行总结以及对未来值得探索的研究方向进行展望.可以为深度学习框架测试研究领域的相关人员提供参考和帮助,推动深度学习框架的不断发展成熟.
-
关键词
深度学习框架
测试
缺陷
实证研究
-
Keywords
deep learning(DL)framework
testing
bug
empirical study
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向边缘部署场景的轻量神经网络修复算法
- 2
-
-
作者
方毓楚
李文中
曾曜
郑阳
胡崝
陆桑璐
-
机构
南京大学计算机科学与技术系
华为技术有限公司可信理论技术与工程实验室
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第6期1413-1430,共18页
-
基金
国家自然科学基金面上项目(61972196)
国家自然科学基金重点项目(61832008,61832005)
江苏省前沿引领技术基础研究重大项目(BK20222003)资助.
-
文摘
随着深度学习技术的不断进步,神经网络在各领域得到广泛应用,特别是在边缘计算环境中,例如智能交通和新型电网等典型场景.然而,神经网络的可靠性问题限制了其在真实世界的广泛应用.在复杂的边缘环境中,预训练模型往往因未涵盖所有可能的边缘情况而性能下降.因此,针对部署中的神经网络进行高效修复成为一个关键的研究课题.传统修复方法通常涉及整个模型的重新训练,这在边缘场景中具有诸多局限性.首先,不同地理区域的设备可能面临独特的自然噪声,使得统一模型难以适应所有环境.其次,深度神经网络的大规模参数使得其训练和部署时资源消耗巨大,且更新期间的服务中断将降低系统的可用性.为解决这些问题,本文提出了一种轻量级的补丁式神经网络修复算法.该算法通过引入个性化的补丁来增强神经网络对不同边缘环境中自然噪声和边角案例的鲁棒性.具体的,在故障定位阶段,类比于程序插桩中通过注入代码以检测、改进和分析软件行为,本文提出了神经网络插桩技术.通过将模型探针插桩进神经网络,观测其内部运行情况,实现了对错误样本的故障定位.在故障修复时,通过插入无监督搜索得到的神经网络补丁来纠正原始神经网络的输出.此外,本文提出了故障预测模块以提前预测潜在的错误输出,从而仅在必要时激活补丁.在基于2个数据集、15种噪声以及4个神经网络模型的实验中,与现有修复算法相比,本文方法在修复性能上取得了 6.64%至20.00%的提升.同时,本文方法所需的训练样本量减少了超过90%,而所需更新的参数量最高减少了 91.94%.这种有效且轻量的特性为解决边缘计算环境中神经网络的可靠性问题提供了有效途径.
-
关键词
神经网络修复
深度边缘计算
故障定位
故障预测
神经网络补丁
-
Keywords
neural network repair
deep edge computing
fault localization
fault prediction
neural network patch
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
