-
题名基于双中间模态的四流网络跨模态行人重识别
被引量：1
- 1
-
-
作者
韩华
黄丽
田瑾
王春媛
-
机构
上海工程技术大学电子电气工程学院上海市数据智能技术及其应用协同创新中心
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第8期302-309,共8页
-
基金
国家自然科学基金(62103257,61305014)
科技创新2030—“新一代人工智能”重大项目(2020AAA0109300)
+1 种基金
上海市自然科学基金(22ZR1426200)
上海市教育委员会和上海市教育发展基金会“晨光计划”(13CG60)。
-
文摘
摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像,并从可见光图像和红外图像中继承标签,通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外,还探讨了四流骨干网络中的参数共享问题,分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明,相比HcTri,该方法在SYSUMM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点,在室内检索模式下分别提高6.24和6.77个百分点,在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点,在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。
-
关键词
行人重识别
双中间模态
四流骨干网络
跨模态重识别
参数共享
-
Keywords
person re-identification
dual-intermediate modalities
four-stream backbone network
cross-modality re-identification
parameter sharing
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
