期刊文献+
共找到110篇文章
< 1 2 6 >
每页显示 20 50 100
多源数据行人重识别研究综述 被引量:24
1
作者 叶钰 王正 +3 位作者 梁超 韩镇 陈军 胡瑞敏 《自动化学报》 EI CSCD 北大核心 2020年第9期1869-1884,共16页
行人重识别是近年来计算机视觉领域的热点问题,经过多年的发展,基于可见光图像的一般行人重识别技术已经趋近成熟.然而,目前的研究多基于一个相对理想的假设,即行人图像都是在光照充足的条件下拍摄的高分辨率图像.因此虽然大多数的研究... 行人重识别是近年来计算机视觉领域的热点问题,经过多年的发展,基于可见光图像的一般行人重识别技术已经趋近成熟.然而,目前的研究多基于一个相对理想的假设,即行人图像都是在光照充足的条件下拍摄的高分辨率图像.因此虽然大多数的研究都能取得较为满意的效果,但在实际环境中并不适用.多源数据行人重识别即利用多种行人信息进行行人匹配的问题.除了需要解决一般行人重识别所面临的问题外,多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题,如低分辨率图像、红外图像、深度图像、文本信息和素描图像等.因此,与一般行人重识别方法相比,多源数据行人重识别研究更具实用性,同时也更具有挑战性.本文首先介绍了一般行人重识别的发展现状和所面临的问题,然后比较了多源数据行人重识别与一般行人重识别的区别,并根据不同数据类型总结了5类多源数据行人重识别问题,分别从方法、数据集两个方面对现有工作做了归纳和分析.与一般行人重识别技术相比,多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换.最后,本文讨论了多源数据行人重识别未来的发展. 展开更多
关键词 多源数据行人重识别 跨模态 度量学习 特征模型 统一模态
下载PDF
基于深度学习的行人重识别综述 被引量:15
2
作者 杨永胜 邓淼磊 +1 位作者 李磊 张德贤 《计算机工程与应用》 CSCD 北大核心 2022年第9期51-66,共16页
行人重识别主要研究在不同摄像机拍摄的图形中检索目标行人的任务,是计算机视觉领域一个极具挑战性的研究课题。传统依赖手工特征的行人重识别方法性能低且鲁棒性差,不能适应数据爆炸增长的信息时代。近年来,随着大规模行人数据集的出... 行人重识别主要研究在不同摄像机拍摄的图形中检索目标行人的任务,是计算机视觉领域一个极具挑战性的研究课题。传统依赖手工特征的行人重识别方法性能低且鲁棒性差,不能适应数据爆炸增长的信息时代。近年来,随着大规模行人数据集的出现和深度学习的迅速发展,行人重识别研究取得了许多突出成果。梳理了性能接近饱和的有监督学习研究方法,并探讨近几年研究热度较高的弱监督学习、跨模态数据和端到端的行人重识别现状;对不同类型行人重识别方法比较分析,列举了常用数据集,并将部分经典算法在Market-1501、DukeMTMC-ReID等数据集上进行性能比较;对行人重识别的未来研究方向进行了展望。 展开更多
关键词 行人重识别 有监督学习 弱监督学习 跨模态 端到端
下载PDF
三维人脸建模及在跨姿态人脸匹配中的有效性验证 被引量:15
3
作者 李昕昕 龚勋 《计算机应用》 CSCD 北大核心 2017年第1期262-267,共6页
针对现有三维人脸采集技术对采集场景存在诸多限制,提出了自由场景下基于多张图像的三维人脸建模技术,并对其进行了有效性验证。首先,提出一个姿态及深度值迭代计算模型,实现了特征点深度值的准确估计;然后,进行了基于多张图像的深度值... 针对现有三维人脸采集技术对采集场景存在诸多限制,提出了自由场景下基于多张图像的三维人脸建模技术,并对其进行了有效性验证。首先,提出一个姿态及深度值迭代计算模型,实现了特征点深度值的准确估计;然后,进行了基于多张图像的深度值融合及整体形状建模;最后,将深度迭代优化算法(IPDO)与目前最优的非线性最小二乘法(NLS1_SR)在Bosphorus Database数据集上进行了对比,建模精度提高了9%,所重建的三维人脸模型投影图像与二维图像具有较高的相似度。实验结果表明,在大姿态变化条件下,该识别算法借助三维信息相较于未借助的情况下,其识别率可以提高50%以上。 展开更多
关键词 三维人脸 人脸建模 人脸识别 多姿态 跨模态
下载PDF
基于异构哈希网络的跨模态人脸检索方法 被引量:11
4
作者 董震 裴明涛 《计算机学报》 EI CSCD 北大核心 2019年第1期73-84,共12页
该文提出一种基于异构哈希网络的跨模态人脸检索方法.异构哈希网络能够将位于不同空间的人脸图像和人脸视频映射到一个公共且有判别力的二值空间上,以获得有效的二值哈希表示.该网络包含图像分支、视频分支和哈希函数三个部分,首先图像... 该文提出一种基于异构哈希网络的跨模态人脸检索方法.异构哈希网络能够将位于不同空间的人脸图像和人脸视频映射到一个公共且有判别力的二值空间上,以获得有效的二值哈希表示.该网络包含图像分支、视频分支和哈希函数三个部分,首先图像和视频分支分别将人脸图像和人脸视频映射到一个公共空间,然后在公共空间中学习非线性哈希函数.网络的训练使用了三种损失函数:Fisher损失、softmax损失和三元排序损失(triplet ranking loss),其中的Fisher损失关注于公共空间的判别力,softmax损失强调公共空间上表达的可分性,三元排序损失旨在提升最终的检索性能.在多个人脸视频数据集上的跨模态人检索实验结果表明了所提出方法的有效性. 展开更多
关键词 异构哈希网络 跨模态 人脸检索 深度学习 损失函数
下载PDF
触觉信息处理及其脑机制 被引量:11
5
作者 周丽丽 姚欣茹 +3 位作者 汤征宇 任巧悦 吕雪靖 胡理 《科技导报》 CAS CSCD 北大核心 2017年第19期37-43,共7页
触觉不仅包含对物理特征的感知,还包括对情感性信息的识别,其信息的整合是人类认识环境的基础。本文阐述了编码不同特征触觉信息的皮肤感受器是触觉信息感知的结构基础;讨论了触觉信息在外周和中枢神经系统的加工机制。其中脊髓背角是... 触觉不仅包含对物理特征的感知,还包括对情感性信息的识别,其信息的整合是人类认识环境的基础。本文阐述了编码不同特征触觉信息的皮肤感受器是触觉信息感知的结构基础;讨论了触觉信息在外周和中枢神经系统的加工机制。其中脊髓背角是触觉信息在皮层下水平加工的初级枢纽,躯体感觉皮层是加工触觉信息的主要脑区,且针对不同特征的触觉信息加工,存在相对独立的脑网络连接。本文还探讨了触觉与跨模态感觉的交互作用,揭示了多模态感觉信息整合的神经机制及其广泛的应用价值。 展开更多
关键词 感知觉 触觉信息 跨模态 神经机制 实际应用
原文传递
跨通道的内源性选择注意 被引量:8
6
作者 赵晨 杨华海 张侃 《心理学报》 CSSCI CSCD 北大核心 1999年第2期148-153,共6页
该实验利用空间线索技术研究跨视觉和听觉通道的内源性选择性注意。实验结果表明视觉中央线索能可靠地引寻出内源性视觉选择性注意;听觉中央线索在较长的SOA(至少500ms)条件下也能引导出内源性视觉选择性注意。支持视觉和听觉具有特... 该实验利用空间线索技术研究跨视觉和听觉通道的内源性选择性注意。实验结果表明视觉中央线索能可靠地引寻出内源性视觉选择性注意;听觉中央线索在较长的SOA(至少500ms)条件下也能引导出内源性视觉选择性注意。支持视觉和听觉具有特异性的注意加工通道,但两者之间存在相互连接的假设。 展开更多
关键词 选择性注意 内源性 跨感觉通道 注意
下载PDF
基于改进困难三元组损失的跨模态行人重识别框架 被引量:8
7
作者 李灏 唐敏 +1 位作者 林建武 赵云波 《计算机科学》 CSCD 北大核心 2020年第10期180-186,共7页
为了提升跨模态行人重识别算法的识别精度,提出了一种基于改进困难三元组损失的特征学习框架。首先,改进了传统困难三元组损失,使其转换为全局三元组损失。其次,基于跨模态行人重识别中存在模态间变化及模态内变化的问题,设计了模态间... 为了提升跨模态行人重识别算法的识别精度,提出了一种基于改进困难三元组损失的特征学习框架。首先,改进了传统困难三元组损失,使其转换为全局三元组损失。其次,基于跨模态行人重识别中存在模态间变化及模态内变化的问题,设计了模态间三元组损失及模态内三元组损失,以配合全局三元组损失进行模型训练。在改进困难三元组损失的基础上,首次在跨模态行人重识别模型中设计属性特征来提高模型的特征提取能力。最后,针对跨模态行人重识别中出现的类别失衡问题,首次将Focal Loss用于替代传统交叉熵损失来进行模型训练。相比现有算法,在RegDB数据集实验中,所提框架在各项指标中均有1.9%~6.4%的提升。另外,通过消融实验证明了3种方法均能提升模型的特征提取能力。 展开更多
关键词 跨模态 行人重识别 困难三元组损失 属性特征 类别失衡
下载PDF
融合子空间共享特征的多尺度跨模态行人重识别方法 被引量:7
8
作者 王凤随 闫涛 +2 位作者 刘芙蓉 钱亚萍 许月 《电子与信息学报》 EI CSCD 北大核心 2023年第1期325-334,共10页
跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合... 跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度m AP达到了60.62%。 展开更多
关键词 行人重识别 跨模态 全局和局部特征 多粒度共享特征融合 子空间共享特征
下载PDF
Research progress on Drosophila visual cognition in China 被引量:6
9
作者 GUO AiKe1,2,ZHANG Ke1,PENG YueQin1 & XI Wang1 1 Institute of Neuroscience,State Key Laboratory of Neuroscience,Shanghai Institutes for Biological Sciences,Chinese Academy of Sciences,Shanghai 200031,China 2 State Key Laboratory of Brain and Cognitive Science,Institute of Biophysics,Chinese Academy of Sciences,Beijing 100101,China 《Science China(Life Sciences)》 SCIE CAS 2010年第3期374-384,共11页
Visual cognition,as one of the fundamental aspects of cognitive neuroscience,is generally associated with high-order brain functions in animals and human.Drosophila,as a model organism,shares certain features of visua... Visual cognition,as one of the fundamental aspects of cognitive neuroscience,is generally associated with high-order brain functions in animals and human.Drosophila,as a model organism,shares certain features of visual cognition in common with mammals at the genetic,molecular,cellular,and even higher behavioral levels.From learning and memory to decision making,Drosophila covers a broad spectrum of higher cognitive behaviors beyond what we had expected.Armed with powerful tools of genetic manipulation in Drosophila,an increasing number of studies have been conducted in order to elucidate the neural circuit mechanisms underlying these cognitive behaviors from a genes-brain-behavior perspective.The goal of this review is to integrate the most important studies on visual cognition in Drosophila carried out in China's Mainland during the last decade into a body of knowledge encompassing both the basic neural operations and circuitry of higher brain function in Drosophila.Here,we consider a series of the higher cognitive behaviors beyond learning and memory,such as visual pattern recognition,feature and context generalization,different feature memory traces,salience-based decision,attention-like behavior,and cross-modal leaning and memory.We discuss the possible general gain-gating mechanism implementing by dopamine-mushroom body circuit in fly's visual cognition.We hope that our brief review on this aspect will inspire further study on visual cognition in flies,or even beyond. 展开更多
关键词 VISUAL INVARIANCE recognition VISUAL MEMORY TRACES feature and context generalization selective attention cross-modality MEMORY integration salience-based decision making
原文传递
基于同质中间模态的跨模态行人再识别方法 被引量:1
10
作者 罗智徽 胡海涛 +1 位作者 马潇峰 程文刚 《图学学报》 CSCD 北大核心 2024年第4期670-682,共13页
可见光-红外跨模态行人再识别(VI-Re ID)旨在对不同摄像头采集同一行人的可见光图像和红外图像进行检索与匹配。除了存在可见光行人再识别(Re ID)中因位姿、视角、局部遮挡等造成的模态内差异外,可见光图像和红外图像的模态间差异是VI-R... 可见光-红外跨模态行人再识别(VI-Re ID)旨在对不同摄像头采集同一行人的可见光图像和红外图像进行检索与匹配。除了存在可见光行人再识别(Re ID)中因位姿、视角、局部遮挡等造成的模态内差异外,可见光图像和红外图像的模态间差异是VI-ReID的主要挑战。现有方法通常对2种模态的图像进行联合特征学习来缩小模态间差异,忽略了可见光和红外两种模态图像在通道上的本质不同。为此,本文试图从2种模态共同生成一种中间模态来辅助缩小模态间差异,并在标准ViT(vision transformer)网络上通过局部特征和全局特征的融合来优化特征嵌入学习。首先,设计同质中间模态生成器,通过可见光图像和红外图像共同生成同质中间模态(H-modality)图像,将3种模态图像投影到统一的特征空间进行联合约束,从而借助中间模态缩小可见光模态和红外模态间的差异,实现图像级对齐。进一步提出一种基于同质中间模态的Transformer跨模态行人再识别方法,使用ViT提取全局特征,设计一个局部分支以增强网络的局部感知能力。在全局特征提取中,为了增强全局特征的多样性,引入头部多样性模块(head enrich module)使不同的头聚合图像不同的模式。该方法融合全局特征与局部特征,能够提高模型的判别能力,在SYSU-MM01和RegDB数据集上的rank-1/m AP分别达到67.68%/64.37%和86.16%/79.11%,优于现有大多数最前沿的方法。 展开更多
关键词 行人再识别 跨模态 TRANSFORMER 中间模态 特征融合
下载PDF
从光学到SAR:基于多级跨模态对齐的SAR图像舰船检测算法 被引量:1
11
作者 何佳月 宿南 +3 位作者 徐从安 尹璐 廖艳苹 闫奕名 《遥感学报》 EI CSCD 北大核心 2024年第7期1789-1801,共13页
合成孔径雷达(SAR)舰船检测是近年来的研究热点。然而,与光学图像不同,SAR成像的特点会导致不直观的特征表示。此外,由于SAR图像数据量不足,现有的基于大量标记SAR图像的方法可能难以达到较好的检测效果。为了解决这些问题,本文提出了... 合成孔径雷达(SAR)舰船检测是近年来的研究热点。然而,与光学图像不同,SAR成像的特点会导致不直观的特征表示。此外,由于SAR图像数据量不足,现有的基于大量标记SAR图像的方法可能难以达到较好的检测效果。为了解决这些问题,本文提出了一种基于多级跨模态对齐的SAR图像舰船检测算法MCMA-Net(Multi-level Cross-Modality Alignment Network),通过将光学模态中丰富的知识迁移到SAR模态来增强SAR图像的特征表示。该算法首先设计了一个基于邻域—全局注意力的特征交互网络NGAN(Neighborhood-Global Attention Network),通过对骨干网络的浅层特征采用邻域注意力机制进行局部交互、对深层特征采取全局自注意力机制进行全局上下文交互,在兼顾全局上下文建模能力的同时,提升局部特征的编码能力,使得网络在不同层级更合理的关注相应的信息,从而能够促进后续的多级别模态对齐。其次,本文设计了一个多级模态对齐模块MLMA(Multi-level Modality Alignment),通过从局部级别到全局级别再到实例级别的对两种模态不同隐含空间中的特征进行对齐,促进模型有效地学习模态不变特征,缓解了光学图像和SAR图像之间的模态鸿沟,实现了从光学模态到SAR模态的知识传输。大量的实验证明我们的算法优于现阶段的检测算法,取得了最好的实验结果。 展开更多
关键词 遥感 SAR 目标检测 跨模态 特征对齐 注意力机制
原文传递
触觉的情绪功能及其神经生理机制 被引量:5
12
作者 杨廙 李东 +1 位作者 崔倩 蒋重清 《心理科学进展》 CSSCI CSCD 北大核心 2022年第2期324-332,共9页
触觉是个体探知外部世界的重要感觉通道,其情绪功能在维系社会联结、促进人际沟通等方面具有重要作用。触觉的情绪功能一方面表现为通过触觉动作本身直接传递情绪信息,另一方面则是通过增强注意和锐化社会评价的方式促进个体对跨通道情... 触觉是个体探知外部世界的重要感觉通道,其情绪功能在维系社会联结、促进人际沟通等方面具有重要作用。触觉的情绪功能一方面表现为通过触觉动作本身直接传递情绪信息,另一方面则是通过增强注意和锐化社会评价的方式促进个体对跨通道情绪信息的加工。神经生理学研究发现,触觉情绪信息由无髓鞘C纤维介导,经脊髓丘脑束通路投射于岛叶(头面部触觉情绪信息的传导路径尚不明确),并在杏仁核、内侧前额叶、后颞上沟等"社会脑"网络的核心区域被精细加工。未来还应对触觉情绪的人际依赖性、文化独特性、操作标准化,及其在神经水平上与感觉-辨识系统间的关联性与独立性做深入探究。 展开更多
关键词 人际触觉 C触觉 情绪 跨通道 神经生理机制
下载PDF
跨模态生成技术下面向文化产品的概念设计方法研究 被引量:1
13
作者 朱上上 徐铭铭 《设计》 2024年第9期14-18,共5页
文化产品是传承传统文化的重要方式,但目前市场同质化严重,设计研究效率低,人力成本高。跨模态生成技术可实现文化产品数字原型快速生成迭代,是数字化创新的有效途径。文章提出了一种将跨模态生成技术与当前文化产品概念设计过程相结合... 文化产品是传承传统文化的重要方式,但目前市场同质化严重,设计研究效率低,人力成本高。跨模态生成技术可实现文化产品数字原型快速生成迭代,是数字化创新的有效途径。文章提出了一种将跨模态生成技术与当前文化产品概念设计过程相结合的方法。根据文化产品特点和跨模态生成技术特点,结合文化意象层次知识,将设计过程中需要人为处理的大量跨模态设计任务,通过跨模态技术处理传递设计信息,快速生成创新概念方案,并对此设计方法流程进行研究。以“基于海晏河清文化的加湿器”为例,进行有效设计实践,获得相关文化产品初步概念设计方案。利用该概念设计方法可以促进文化产品概念设计阶段快速迭代,为文化产品的创新和发展提供有力支持。 展开更多
关键词 文化产品 概念设计 跨模态 多模态 数字技术
下载PDF
基于多模态表示学习的情感分析框架 被引量:5
14
作者 胡新荣 陈志恒 +3 位作者 刘军平 彭涛 叶鹏 朱强 《计算机科学》 CSCD 北大核心 2022年第S02期631-636,共6页
在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话... 在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化。然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息。最后,通过串联生成联合向量并利用全连接层生成任务预测。在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型。 展开更多
关键词 多模态表示 情感分析 TRANSFORMER 自注意力 跨模态
下载PDF
异质中心角距离约束的多粒度跨模态行人重识别
15
作者 邹业欣 蒋敏 《计算机工程与设计》 北大核心 2024年第4期1210-1217,共8页
针对红外光和可见光图像之间巨大差异导致的跨模态行人重识别正确匹配图像异常困难的问题,提出一种多粒度特征学习的跨模态行人重识别网络(CM-MGN)。有效结合全局特征和不同粒度的局部特征,学习更具判别性的行人特征。为有效减小模型的... 针对红外光和可见光图像之间巨大差异导致的跨模态行人重识别正确匹配图像异常困难的问题,提出一种多粒度特征学习的跨模态行人重识别网络(CM-MGN)。有效结合全局特征和不同粒度的局部特征,学习更具判别性的行人特征。为有效减小模型的计算复杂度和解决传统三元组损失中异常样本选取的问题,提出基于角距离的异质中心三元组损失(HCAT)。在RegDB和SYSU-MM01数据集上的实验结果表明,该方法的Rank-1精度分别达到了92.33%和62.83%,较其它方法取得了更优性能。 展开更多
关键词 跨模态 行人重识别 多粒度 局部特征 异质中心 角距离 深度学习
下载PDF
基于双重增强网络的跨模态行人重识别
16
作者 陈梦蝶 卢健 张奇 《光电子.激光》 CAS CSCD 北大核心 2024年第7期745-752,共8页
针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification, ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network, DEN)。首先从通道级出发,通过随机交换可见... 针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification, ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network, DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module, NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module, FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。 展开更多
关键词 行人重识别(ReID) 跨模态 通道交换增强(CEA) 基于归一化的注意力模块(NAM) 特征分离模块(FSM)
原文传递
基于掩模重构与动态注意力的跨模态行人重识别
17
作者 张阔 范馨月 +1 位作者 李嘉辉 张干 《激光与光电子学进展》 CSCD 北大核心 2024年第10期255-264,共10页
跨模态行人重识别是一项具有挑战性的行人检索任务。现有研究侧重于通过提取模态共享特征来减小模态间差异,忽视了对模态内差异和背景干扰的处理。为此,提出了一种掩模重构与动态注意力(MRDA)网络,该网络通过重构人体区域特征来消除背... 跨模态行人重识别是一项具有挑战性的行人检索任务。现有研究侧重于通过提取模态共享特征来减小模态间差异,忽视了对模态内差异和背景干扰的处理。为此,提出了一种掩模重构与动态注意力(MRDA)网络,该网络通过重构人体区域特征来消除背景杂波的影响,从而增强网络对背景变化的鲁棒性。此外,该网络结合了动态注意力机制,以过滤无关信息,动态挖掘并增强具有辨别力的特征表示,消除模态内差异的影响。实验结果显示:该网络在SYSU-MM01数据集的all-search模式下的第一个检索结果匹配成功的概率(Rank-1)和均值平均精度(mAP)分别达到70.55%和63.89%;在RegDB数据集的visible-to-infrared检索模式下的Rank-1和mAP分别达到91.80%和82.08%。在公共数据集上验证了所提方法的有效性. 展开更多
关键词 行人重识别 跨模态 掩模重构 双流网络 动态注意力
原文传递
面向可见光-红外图像的跨模态行人再识别方法
18
作者 孙义博 王蓉 +1 位作者 张琪 林榕辉 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第6期2018-2025,共8页
为降低模型对图像颜色的敏感度,减小可见光和红外模态间的差异,提出一种面向可见光-红外图像的跨模态行人再识别方法。将可见光图像转换到HSV颜色空间,提取只描述图像明暗信息的V分量,降低模型对颜色信息的依赖性;通过轻量级网络对V分... 为降低模型对图像颜色的敏感度,减小可见光和红外模态间的差异,提出一种面向可见光-红外图像的跨模态行人再识别方法。将可见光图像转换到HSV颜色空间,提取只描述图像明暗信息的V分量,降低模型对颜色信息的依赖性;通过轻量级网络对V分量图像进行降维和升维,生成介于可见光和红外图像的中间模态,缩小模态间的差异性;在SYSU-MM01和RegDB数据集上进行性能评估。性能评估结果为Rank-1的数值分别增加了6.67%、1.18%,mAP的数值分别增加了6.47%、1.15%,mINP的数值分别增加了5.59%、0.42%。 展开更多
关键词 可见光-红外图像 跨模态 HSV颜色空间 轻量级网络 行人再识别
下载PDF
跨模态目标重识别研究综述
19
作者 崔振宇 周嘉欢 彭宇新 《计算机科学》 CSCD 北大核心 2024年第1期13-25,共13页
目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术... 目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术通常适用于光照条件良好情况下的可见光模态数据,但在处理黑夜低光照条件下的目标重识别任务时,其性能通常受到严重限制。红外摄像机因其卓越的夜视性能,通常被应用于在低光照条件下采集目标红外图像。因此,跨模态目标重识别技术旨在通过可见光图像匹配红外图像,实现全天候不间断的目标重识别。近年来,跨模态目标重识别技术取得了很大进展,然而,对于现有模型的归纳总结及深入分析仍然欠缺。为此,对跨模态目标重识别领域的相关研究和新颖方法进行了深入调研和总结,讨论了现有方法在实际场景中面临的挑战,并从模型分类和模型评价两个方面对现有方法进行归纳与分析。首先,围绕跨模态目标重识别问题的研究难点,将跨模态目标重识别分为生成式方法和非生成式方法两大类;然后,对当前跨模态重识别领域中广泛使用的评测数据集以及相关评价指标进行了综述与总结;最后,讨论了跨模态重识别领域仍然存在的挑战并对未来发展趋势进行了展望。 展开更多
关键词 计算机视觉 目标重识别 跨模态 细粒度特征 表征学习
下载PDF
基于渐进式差异感知注意力的红外和可见光图像融合算法
20
作者 李绪 冯宇 张永祥 《中国科学:技术科学》 EI CSCD 北大核心 2024年第6期1183-1197,共15页
红外图像与可见光图像融合是图像融合的重要研究方向.不同的图像源可以提供互补的知识.融合成的图像包含更多信息,能获得更好的识别和分析性能.目前的方法可以分为传统方法和基于深度学习的方法两种.本文在现有方法的基础上,提出了一种... 红外图像与可见光图像融合是图像融合的重要研究方向.不同的图像源可以提供互补的知识.融合成的图像包含更多信息,能获得更好的识别和分析性能.目前的方法可以分为传统方法和基于深度学习的方法两种.本文在现有方法的基础上,提出了一种新的渐进式跨模态差异感知图像融合网络,建立了端到端的可见光-红外图像融合模型.模型采用基于卷积神经网络(convolutional neural network,CNN)的框架作为主干,由渐进式特征提取器和图像重构器组成.首先,本算法对可见光图像和红外图像分别建立两条特征提取支路,在两支路间引入了差异感知注意力模块(differential aware attention module,DAAM),该模块使本网络能够在特征提取阶段逐步整合互补信息.因此,特征提取器可以从红外和可见光图像中完全提取出共同和互补的特征.然后,将提取出的深度特征通过中间融合策略进行融合,将可见光图像和红外图像的特征结合起来,以获得尽可能好的融合效果.再通过图像重构器恢复出融合图像.最后,通过与其他相关方法的比较,对本方法的性能进行了测试,实验结果表明,所提出的方法能有效提高融合效果. 展开更多
关键词 图像融合 可见光-红外融合 跨模态 深度学习
原文传递
上一页 1 2 6 下一页 到第
使用帮助 返回顶部