-
题名融合弱层惩罚的卷积神经网络模型剪枝方法
被引量：1
- 1
-
-
作者
房志远
石守东
郑佳罄
胡加钿
-
机构
宁波大学信息科学与工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第5期67-73,共7页
-
基金
宁波市公益项目“基于深度学习的儿童学习姿态识别系统研究与实现”(2019C50020)。
-
文摘
深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性。在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数。
-
关键词
模型剪枝
弱层惩罚
全局掩码
欧式距离
核重要性评估
-
Keywords
model pruning
weak layer penalty
global mask
Euclidean distance
kernel importance evaluation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
