-
题名基于HardSoftmax的并行选择核注意力
- 1
-
-
作者
朱梦
闵卫东
张煜
段静雯
-
机构
南昌大学信息工程学院
南昌大学软件学院
江西省智慧城市重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2021年第21期95-101,共7页
-
基金
国家自然科学基金(62076117,61762061)
江西省自然科学基金(20161ACB20004)
江西省智慧城市重点实验室(20192BCD40002)。
-
文摘
注意力被广泛地运用在卷积神经网络中,并有效地提升了卷积神经网络的性能。同时,注意力是非常轻量的,且几乎不需要改变卷积神经网络原来的架构。提出了基于HardSoftmax的并行选择核注意力。针对Softmax包含指数运算,对于较大的正输入很容易发生计算溢出的问题,提出了计算更安全的HardSoftmax来替换Softmax。不同于选择核注意力将全局特征的提取和转换放在特征融合之后,并行选择核注意力将全局特征的提取和转换单独放在一个分支,与具有不同核大小的多个分支构成并行结构。同时,并行选择核注意力的全局特征转换使用分组卷积,进一步减少参数量和计算量。并行选择核注意力通过HardSoftmax注意来关注不同核大小的多个分支。一系列的图像分类实验表明,只是简单地用HardSoftmax替换Softmax,也能保持或提升原注意力的性能。HardSoftmax的运行速度在实验中也比Softmax更快速。并行选择核注意力能够以更少的参数量和计算量追平或超越选择核注意力。
-
关键词
卷积神经网络
hardsoftmax
并行选择核注意力
-
Keywords
Convolutional Neural Networks(CNNs)
hardsoftmax
Parallel Selective Kernel(PSK)attention
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
