-
题名非局部注意力双分支网络的跨模态赤足足迹检索
被引量：1
- 1
-
-
作者
鲍文霞
茅丽丽
王年
唐俊
杨先军
张艳
-
机构
安徽大学电子信息工程学院
中国科学院合肥物质科学研究院
-
出处
《中国图象图形学报》
CSCD
北大核心
2022年第7期2199-2213,共15页
-
基金
国家重点研发计划资助(2020YFF0303803)
国家自然科学基金项目(61772032)
安徽高校自然科学研究重点项目(KJ2021ZD0004,KJ2019A0027)。
-
文摘
目的针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法。方法该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以Res Net50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异。结果本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法FGC(fine-grained cross-model)和跨模态行人重识别方法HC(hetero-center)进行了对比实验,本文算法在光学到压力检索模式下的m AP(mean average precision)值和rank1值分别为83.63%和98.29%,在压力到光学检索模式下的m AP值和rank1值分别为84.27%和94.71%,两种检索模式下的m AP均值和rank1均值分别为83.95%和96.5%,相较于FGC分别提高了40.01%和36.50%,相较于HC分别提高了26.07%和19.32%。同时本文算法在non-local注意力机制、损失函数、特征嵌入模块后采用的池化方式等方面进行了对比分析,其结果证实了本文算法的有效性。结论本文提出的跨模态赤足足迹检索算法取得了较高的精度,为现场足迹比对、鉴定等应用提供了研究基础。
-
关键词
图像检索
跨模态足迹检索
非局部注意力机制
双分支网络
赤足足迹图像
-
Keywords
image retrieval
cross-modal footprint retrieval
non-local attention mechanism
two-branch network
barefoot footprint image
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
