-
题名硬件感知的神经架构搜索
- 1
-
-
作者
王鑫
姚洋
蒋昱航
关超宇
朱文武
-
机构
清华大学计算机科学与技术系
清华大学清华-伯克利深圳学院
-
出处
《中国科学：信息科学》
CSCD
北大核心
2023年第5期899-917,共19页
-
基金
科技创新2030-“新一代人工智能”重大项目(批准号:2020AAA0106300)
国家优秀青年科学基金(批准号:62222209)
国家自然科学基金青年基金(批准号:62102222)资助项目。
-
文摘
深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareaware transformable architecture search, HTAS)和硬件感知的图神经网络架构搜索方法 (hardwareaware graph neural architecture search, HGNAS).相比于现有方法,本文所提出的这两种算法在多种数据集上均针对不同类型目标硬件搜索出了更加高效的深度神经网络架构,从而证明了该方法的有效性.
-
关键词
深度学习
神经网络架构搜索
可变换神经网络架构搜索
图神经网络架构搜索
硬件感知
-
Keywords
deep learning
neural architecture search
transformable architecture search
graph neural architecture search
hardware-aware
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
