-
题名深度神经网络的测试输入选择与度量标准研究综述
- 1
-
-
作者
严荭
杨丰玉
钟依慧
熊宇
陈雨安
-
机构
南昌航空大学数据科学与技术系
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第6期27-42,共16页
-
基金
江西省重点研发计划项目(20202BBEL53002)
江西省自然科学基金(20212BAB212009)
江西省研究生创新专项资金(YC2022-s766)。
-
文摘
随着深度神经网络在各个领域受到广泛应用,对其进行测试评估并确保其安全性显得尤为重要。测试输入选择方法可以帮助在测试数据集规模较大且标注成本较高的情况下,对测试样本进行选择与排序,以提高测试效率和测试覆盖率。为了深入了解深度神经网络测试输入选择领域的研究进展,对近5年来91篇相关领域的学术论文进行了系统梳理。介绍了深度神经网络测试的基本概念和流程,包括深度学习系统的构建、测试输入的选择和测试结果的评估;概括分析了各种度量标准和测试输入选择方法的适用场景与不足之处,以及彼此之间的相互联系。最后,指出了当前深度神经网络测试输入选择与评估工作面临的挑战和机遇。
-
关键词
深度神经网络测试
测试输入度量标准
测试输入选择
测试输入优先级
-
Keywords
deep neural networks testing
test input metrics
test input selection
test input prioritization
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于DNN模型输出差异的测试输入优先级方法
- 2
-
-
作者
朱进
陶传奇
郭虹静
-
机构
南京航空航天大学计算机科学与技术学院
高安全系统的软件开发与验证技术工信部重点实验室
计算机软件新技术国家重点实验室
软件新技术与产业化协同创新中心
-
出处
《计算机科学》
CSCD
北大核心
2024年第S01期818-825,共8页
-
文摘
深度神经网络测试需要大量的测试数据来保证DNN的质量,但大多数测试输入缺乏标注信息,而且对测试输入进行标注会带来高昂的人工代价。为了解决标注成本的问题,研究人员提出了测试输入优先级方法,筛选高优先级的测试输入进行标注。然而,大多数优先级方法都受到有限情景的影响,例如难以筛选出高置信度的误分类输入。为了应对上述挑战,文中将差分测试技术应用于测试输入优先级,并提出了基于DNN模型输出差异的测试输入优先级方法(DeepDiff)。DeepDiff首先构建一个与原始模型具有相同功能的差分模型,然后计算测试输入在原始模型与差分模型之间的输出差异,最后为输出差异较大的测试输入分配更高的优先级。在实验验证中,我们对4个广泛使用的数据集和相应的8个DNN模型进行了研究。实验结果表明,在原始测试集上,DeepDiff的有效性比基线方法平均高出13.06%,在混合测试集上高出39.69%。
-
关键词
深度神经网络测试
测试输入优先级
差分测试
模型输出差异
-
Keywords
Deep neural network testing
test input prioritization
Differential testing
Model output differences
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
