-
题名基于图神经网络的切片级漏洞检测及解释方法
被引量:8
- 1
-
-
作者
胡雨涛
王溯远
吴月明
邹德清
李文科
金海
-
机构
大数据技术与系统国家地方联合工程研究中心(服务计算技术与系统教育部重点实验室华中科技大学)
分布式系统安全湖北省重点实验室
华中科技大学网络空间安全学院
华中科技大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第6期2543-2561,共19页
-
基金
国家自然科学基金(62172168)
湖北省重点研发计划(2021BAA032)。
-
文摘
随着软件的复杂程度越来越高,对漏洞检测的研究需求也日益增大.软件漏洞的迅速发现和修补,可以将漏洞带来的损失降到最低.基于深度学习的漏洞检测方法作为目前新兴的检测手段,可以从漏洞代码中自动学习其隐含的漏洞模式,节省了大量人力投入.但基于深度学习的漏洞检测方法尚未完善,其中,函数级别的检测方法存在检测粒度较粗且检测准确率较低的问题,切片级别的检测方法虽然能够有效减少样本噪声,但仍存在以下两方面的问题:一方面,现有方法大多采用人工漏洞数据集进行实验,因此其在真实环境中的漏洞检测能力仍然存疑;另一方面,相关工作仅致力于检测出切片样本是否存在漏洞,而缺乏对检测结果可解释性的考虑.针对上述问题,提出基于图神经网络的切片级漏洞检测及解释方法.该方法首先对C/C++源代码进行规范化并提取切片,以减少样本冗余信息干扰;之后,采用图神经网络模型进行切片嵌入得到其向量表征,以保留源代码的结构信息和漏洞特征;然后,将切片的向量表征输入漏洞检测模型进行训练和预测;最后,将训练完成的漏洞检测模型和待解释的漏洞切片输入漏洞解释器,得到具体的漏洞代码行.实验结果显示:在漏洞检测方面,该方法对于真实漏洞数据的检测F1分数达到75.1%,相较于对比方法提升了41.2%-110.4%;在漏洞解释方面,该方法在限定前10%的关键节点时,准确率可达73.6%,相较于两种对比解释器分别提升了8.9%和24.9%,且时间开销分别缩短了42.5%和15.4%.最后,该方法正确检测并解释了4个开源软件中59个真实漏洞,证明了其在现实世界漏洞发掘方面的实用性.
-
关键词
漏洞检测
深度学习
图神经网络
人工智能可解释性
-
Keywords
vulnerability detection
deep learning
graph neural network(GNN)
explainable AI
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名人工智能可解释性评估研究综述
被引量:6
- 2
-
-
作者
李瑶
左兴权
王春露
黄海
张修建
-
机构
北京邮电大学网络空间安全学院
北京邮电大学计算机学院
可信分布式计算与服务教育部重点实验室
北京航天计量测试技术研究所
国家市场监管重点实验室(人工智能计量测试与标准)
-
出处
《导航定位与授时》
CSCD
2022年第6期13-24,共12页
-
文摘
近年来,可解释人工智能(XAI)发展迅速,成为当前人工智能领域的研究热点,已出现多种人工智能解释方法。如何量化评估XAI的可解释性以及解释方法的效果,对研究XAI具有重要意义。XAI的可解释性评估涉及主、客观因素,是一个复杂且有挑战性的工作。综述了XAI的可解释性评估方法,首先,介绍了XAI的可解释性及其评估的概念和分类;其次,总结和梳理了一些可解释性的特性;在此基础上,从可解释性评估方法和可解释性评估框架两方面,综述和分析了当前可解释性评估工作;最后,总结了当前人工智能可解释性评估研究的不足,并展望了其未来发展方向。
-
关键词
可解释性评估
人工智能可解释性
主观评估
客观评估
评估方法
神经网络
深度学习
-
Keywords
Interpretability evaluation
Artificial intelligence interpretability
Subjective evaluation
Objective evaluation
Evaluation method
Neural network
Deep learning
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名人工智能技术发展与主要国家技术布局
被引量:1
- 3
-
-
作者
李若尘
李梦薇
-
机构
龙岗智能视听研究院
中国科学技术信息研究所
-
出处
《全球科技经济瞭望》
2021年第6期13-18,共6页
-
基金
中国科学技术信息研究所创新研究基金“新一代人工智能应用场景学理分析与相关政策研究”(QN2020-07)
科技创新2030—“新一代人工智能”重大项目“重点领域人工智能治理挑战及对策研究”(2020AAA0105300)、“重点领域人工智能伦理风险及对策研究”(2020AAA0105301)。
-
文摘
本文梳理回顾了人工智能历史上存在的三种技术路线——符号主义人工智能、联结主义人工智能、行为主义人工智能的发展现状,并探讨了世界主要国家在人工智能领域的布局,通过对比中、美、日、韩四国在人工智能领域发布的战略性政策文件,分析了四国在人工智能领域技术布局的异同,并着重分析了四国共同关注的知识驱动、类脑智能、可解释性三大技术,同时对我国人工智能发展提出了对策建议。
-
关键词
人工智能
知识驱动
类脑智能
人工智能可解释性
技术布局
-
Keywords
artificial intelligence
knowledge driven
brain-inspired Intelligence
AI interpretability
technical layout
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名强化学习可解释性基础问题探索和方法综述
被引量:13
- 4
-
-
作者
刘潇
刘书洋
庄韫恺
高阳
-
机构
计算机软件新技术国家重点实验室(南京大学)
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第5期2300-2316,共17页
-
基金
科技创新2030—“新一代人工智能”重大项目(2018AAA0100900)。
-
文摘
强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.
-
关键词
强化学习可解释性(XRL)
人工智能可解释性(XAI)
机器学习(ML)
人工智能(AI)
-
Keywords
explainable reinforcement learning(XRL)
explainable artificial intelligence(XAI)
machine learning(ML)
artificial intelligence(AI)
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名可解释人工智能的教育视角:基于伦理和素养的思考
被引量:7
- 5
-
-
作者
托雷·霍尔
曹梦莹
明芷安
袁莉
-
机构
北京师范大学未来教育学院
挪威奥斯陆城市大学多媒体和学术研究中心
上海开放大学上海开放远程教育工程技术研究中心
-
出处
《中国教育信息化》
2022年第4期5-13,共9页
-
基金
2021年珠海科技计划项目“人工智能教育关键技术研究与示范”(编号:ZH22036201210161PWC)
2021年国家外专项目“人工智能和未来教育前沿问题研究与教学改革探索”(编号:G2021111027L)。
-
文摘
人工智能的飞速发展和由此带来的产业革命引发了一系列人工智能伦理问题,这些问题正成为阻碍新技术潜力发挥的主要障碍。人工智能所处的困境与生物科技、医学等领域一样,在新技术开发与实践的发展过程中,伦理问题也备受关注。然而,与其他领域不同,人工智能增加了一个新的伦理维度——可解释性,即机器学习的模型和算法,可以被用户理解和需要对用户负责任。这对于教育来说,开启了一个前所未有的参与人工智能发展的空间和可能。据此,在研究支持人工智能系统技术的同时,也需要对大众开展人工智能教育和培训,了解人工智能在各个领域的应用,以及人工智能系统和工具将如何改变人们的工作和生活。文章从教育角度探讨人工智能可解释性的内涵、原理和现实意义,以及人工智能给教育带来的新的发展动力和变革机遇。在此基础上,文章建议:首先,要完善人工智能开发流程,制定人工智能伦理规范和原则,通过培训和实践指导建立可解释和可信任的智能教育;其次,要开设人工智能教育课程,使学生掌握机器学习和其他人工智能技术的工作原理,构建可解释性人工智能的认知基础;最后,要加强人工智能素养教育,特别是人工智能伦理道德的培养,这是教育促进未来社会发展的重要责任和义务。
-
关键词
人工智能的可解释性
人工智能伦理
人工智能素养
-
Keywords
Artificial intelligence explicability
Artificial intelligence ethics
Artificial intelligence literacy
-
分类号
G434
[文化科学—教育学]
-