忆阻器阵列(Memristor based Crossbar)在加速神经网络计算上有很好的效果。然而,忆阻器阵列会受到IR-Drop的影响,导致忆阻器阵列的计算精度下降。为此,提出一种方案来提高计算精度,该方案是基于对权值矩阵稀疏化以及对权值矩阵的行向...忆阻器阵列(Memristor based Crossbar)在加速神经网络计算上有很好的效果。然而,忆阻器阵列会受到IR-Drop的影响,导致忆阻器阵列的计算精度下降。为此,提出一种方案来提高计算精度,该方案是基于对权值矩阵稀疏化以及对权值矩阵的行向量进行聚类实现的。该方案首先通过分析IR-Drop对忆阻器阵列的影响,根据忆阻器阵列和权值矩阵的映射关系,对权值矩阵进行稀疏化训练,将受到较大IR-Drop影响的权值置零。然后对权值矩阵的行向量进行聚类,找到近似全零行向量将其权值置零,在保证零权值不变的前提下重新训练权值矩阵,接着删除全零行向量和全零列向量降低矩阵规模。最后在IR-Drop影响下计算权值矩阵行向量的权值损失,根据损失大小降序排列行向量得到新的权值矩阵,并映射到忆阻器阵列上。实验表明,经过此方案处理后,忆阻器阵列受到的IR-Drop显著降低,有效地提高了计算精度并且降低了硬件规模。展开更多
文摘忆阻器阵列(Memristor based Crossbar)在加速神经网络计算上有很好的效果。然而,忆阻器阵列会受到IR-Drop的影响,导致忆阻器阵列的计算精度下降。为此,提出一种方案来提高计算精度,该方案是基于对权值矩阵稀疏化以及对权值矩阵的行向量进行聚类实现的。该方案首先通过分析IR-Drop对忆阻器阵列的影响,根据忆阻器阵列和权值矩阵的映射关系,对权值矩阵进行稀疏化训练,将受到较大IR-Drop影响的权值置零。然后对权值矩阵的行向量进行聚类,找到近似全零行向量将其权值置零,在保证零权值不变的前提下重新训练权值矩阵,接着删除全零行向量和全零列向量降低矩阵规模。最后在IR-Drop影响下计算权值矩阵行向量的权值损失,根据损失大小降序排列行向量得到新的权值矩阵,并映射到忆阻器阵列上。实验表明,经过此方案处理后,忆阻器阵列受到的IR-Drop显著降低,有效地提高了计算精度并且降低了硬件规模。
