-
题名基于冗余滤波器剪枝-辅助网络蒸馏混合压缩算法优化
- 1
-
-
作者
张敏
王伟然
王建军
-
机构
河北经贸大学信息技术学院
武警河北总队综合信息保障中心
-
出处
《河北省科学院学报》
CAS
2023年第3期1-9,共9页
-
基金
河北省自然基金项目(F2018207038)。
-
文摘
针对师生网络差距过大、教师网络复杂度高时,学生网络对图像分类任务的准确率明显下降的问题,提出了一种基于冗余滤波器剪枝-特征相关性辅助蒸馏混合压缩算法。该算法引入了教师辅助网络,充当师生网络的媒介,有效缩小师生网络差距过大的问题;然后利用冗余滤波器结构化剪枝算法(RFSP),对教师网络和教师辅助网络进行剪枝操作;最后对剪枝后的教师网络进行中间层特征相关性蒸馏,挖掘更多教师网络的特征知识,可以更有效的将信息传递给学生网络。实验结果表明,特征相关辅助网络知识蒸馏(GW_RAKD)与RFSP算法的有效结合,能够进一步提高学生网络对图像分类的准确性。
-
关键词
冗余滤波器剪枝
教师辅助网络
知识蒸馏
ResNet
混合压缩算法
-
Keywords
redundant filter pruning
Teacher assistance network
Knowledge distillation
ResNet
Hybrid compression algorithm
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
