-
题名深度网络模型压缩综述
被引量：47
- 1
-
-
作者
雷杰
高鑫
宋杰
王兴路
宋明黎
-
机构
浙江大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2018年第2期251-266,共16页
-
基金
国家自然科学基金(61572428
U1509206)~~
-
文摘
深度网络近年来在计算机视觉任务上不断刷新传统模型的性能,已逐渐成为研究热点.深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在受限的硬件平台上(如移动设备).模型的参数在一定程度上能够表达其复杂性,相关研究表明,并不是所有的参数都在模型中发挥作用,部分参数作用有限、表达冗余,甚至会降低模型的性能.首先,对国内外学者在深度模型压缩上取得的成果进行了分类整理,依此归纳了基于网络剪枝、网络精馏和网络分解的方法;随后,总结了相关方法在多种公开深度模型上的压缩效果;最后,对未来的研究可能的方向和挑战进行了展望.
-
关键词
深度神经网络
网络压缩
网络剪枝
网络精馏
网络分解
-
Keywords
deep neural network
network compression
network pruning
network distillation
network decomposition
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
