可见光–红外行人重识别(Visible-infrared Person Re-identification, VI Re-ID)旨在根据裁剪后的查询行人样本,检索另一模态的画廊集中相同身份的行人样本。现有基于特征融合的方法主要采用双流特征提取模型来解决此任务,但由于两种...可见光–红外行人重识别(Visible-infrared Person Re-identification, VI Re-ID)旨在根据裁剪后的查询行人样本,检索另一模态的画廊集中相同身份的行人样本。现有基于特征融合的方法主要采用双流特征提取模型来解决此任务,但由于两种模态的数据来源存在差异,不同模态特征提取分支存在特征粒度不一致的问题。为了解决这一问题,本文提出一种多粒度空间注意力模块,并进一步提出模态特异性双注意力模块,使用分散的细粒度注意力提取包含更多细节信息的可见光样本注意力描述符,使用集中的粗粒度注意力提取包含更多模糊信息的红外样本注意力描述符。实验证明融入多粒度方法的注意力模块有效的提高了双流特征提取模型在SYSU-MM01和RegDB数据集上的精度。展开更多
现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出...现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练。利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络。然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签。相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异。此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性。在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性。展开更多
文摘可见光–红外行人重识别(Visible-infrared Person Re-identification, VI Re-ID)旨在根据裁剪后的查询行人样本,检索另一模态的画廊集中相同身份的行人样本。现有基于特征融合的方法主要采用双流特征提取模型来解决此任务,但由于两种模态的数据来源存在差异,不同模态特征提取分支存在特征粒度不一致的问题。为了解决这一问题,本文提出一种多粒度空间注意力模块,并进一步提出模态特异性双注意力模块,使用分散的细粒度注意力提取包含更多细节信息的可见光样本注意力描述符,使用集中的粗粒度注意力提取包含更多模糊信息的红外样本注意力描述符。实验证明融入多粒度方法的注意力模块有效的提高了双流特征提取模型在SYSU-MM01和RegDB数据集上的精度。
文摘现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练。利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络。然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签。相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异。此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性。在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性。
