为加速卷积神经网络的前向推理速度,提出一种针对卷积操作访存连续性的优化策略。在深度学习框架Caffe中,卷积以矩阵乘法的形式实现。Caffe卷积包含两个主要操作,分别是im2col和gemm。im2col称为image to columns,负责展开输入图像;gemm...为加速卷积神经网络的前向推理速度,提出一种针对卷积操作访存连续性的优化策略。在深度学习框架Caffe中,卷积以矩阵乘法的形式实现。Caffe卷积包含两个主要操作,分别是im2col和gemm。im2col称为image to columns,负责展开输入图像;gemm是general matrix-matrix multiplication的缩写,负责完成矩阵与矩阵之间的乘法运算。在以行优先的体系结构中,通过转置操作改变输入图像的数据排列,提升im2col和gemm的访存效率。实验结果表明,卷积操作的平均加速比在40%左右。展开更多
文摘为加速卷积神经网络的前向推理速度,提出一种针对卷积操作访存连续性的优化策略。在深度学习框架Caffe中,卷积以矩阵乘法的形式实现。Caffe卷积包含两个主要操作,分别是im2col和gemm。im2col称为image to columns,负责展开输入图像;gemm是general matrix-matrix multiplication的缩写,负责完成矩阵与矩阵之间的乘法运算。在以行优先的体系结构中,通过转置操作改变输入图像的数据排列,提升im2col和gemm的访存效率。实验结果表明,卷积操作的平均加速比在40%左右。
