目的在图像超分辨率(super resolution,SR)任务中采用大尺寸的卷积神经网络(convolutional neural network,CNN)可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本...目的在图像超分辨率(super resolution,SR)任务中采用大尺寸的卷积神经网络(convolutional neural network,CNN)可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本文提出一种基于双阶段信息蒸馏的轻量级网络模型。方法提出一个双阶段带特征补偿的信息蒸馏模块(two-stage feature-compensated information distillation block,TFIDB)。TFIDB采用双阶段、特征补偿的信息蒸馏机制,有选择地提炼关键特征,同时将不同级别的特征进行合并,不仅提高了特征提炼的效率,还能促进网络内信息的流动。同时,TFIDB引入通道关注(channel attention,CA)机制,将经过双阶段信息蒸馏机制提炼的特征进行重要性判别,增强对特征的表达能力。以TFIDB为基础构建模块,提出完整的轻量级网络模型。在提出的网络模型中,设计了信息融合单元(information fusion unit,IFU)。IFU将网络各层级的信息进行有效融合,为最后重建阶段提供准确、丰富的层级信息。结果在5个基准测试集上,在放大倍数为2时,相较于知名的轻量级网络CARN(cascading residual network),本文算法分别获得了0.29 d B、0.08 d B、0.08 d B、0.27 d B和0.42 d B的峰值信噪比(peak singal to noise ratio,PSNR)增益,且模型参数量和乘加运算量明显更少。结论提出的双阶段带补偿的信息蒸馏机制可以有效提升网络模型的效率。将多个TFIDB进行级联,并辅以IFU模块构成的轻量级网络可以在模型尺寸和性能之间达到更好的平衡。展开更多
文摘目的在图像超分辨率(super resolution,SR)任务中采用大尺寸的卷积神经网络(convolutional neural network,CNN)可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本文提出一种基于双阶段信息蒸馏的轻量级网络模型。方法提出一个双阶段带特征补偿的信息蒸馏模块(two-stage feature-compensated information distillation block,TFIDB)。TFIDB采用双阶段、特征补偿的信息蒸馏机制,有选择地提炼关键特征,同时将不同级别的特征进行合并,不仅提高了特征提炼的效率,还能促进网络内信息的流动。同时,TFIDB引入通道关注(channel attention,CA)机制,将经过双阶段信息蒸馏机制提炼的特征进行重要性判别,增强对特征的表达能力。以TFIDB为基础构建模块,提出完整的轻量级网络模型。在提出的网络模型中,设计了信息融合单元(information fusion unit,IFU)。IFU将网络各层级的信息进行有效融合,为最后重建阶段提供准确、丰富的层级信息。结果在5个基准测试集上,在放大倍数为2时,相较于知名的轻量级网络CARN(cascading residual network),本文算法分别获得了0.29 d B、0.08 d B、0.08 d B、0.27 d B和0.42 d B的峰值信噪比(peak singal to noise ratio,PSNR)增益,且模型参数量和乘加运算量明显更少。结论提出的双阶段带补偿的信息蒸馏机制可以有效提升网络模型的效率。将多个TFIDB进行级联,并辅以IFU模块构成的轻量级网络可以在模型尺寸和性能之间达到更好的平衡。
