-
题名多支路协同的RGB-T图像显著性目标检测
被引量：8
- 1
-
-
作者
蒋亭亭
刘昱
马欣
孙景林
-
机构
天津大学微电子学院
天津大学电气自动化与信息工程学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2021年第10期2388-2399,共12页
-
基金
云南省重大科技专项:云南特色产业数字化研究与应用示范项目(202002AD080001)
天津市重大科技专项(18ZXRHSY00190)。
-
文摘
目的显著性目标检测是机器视觉应用的基础,然而目前很多方法在显著性物体与背景相似、低光照等一些复杂场景得到的效果并不理想。为了提升显著性检测的性能,提出一种多支路协同的RGB-T(thermal)图像显著性目标检测方法。方法将模型主体设计为两条主干网络和三条解码支路。主干网络用于提取RGB图像和Thermal图像的特征表示,解码支路则分别对RGB特征、Thermal特征以及两者的融合特征以协同互补的方式预测图像中的显著性物体。在特征提取的主干网络中,通过特征增强模块实现多模图像的融合互补,同时采用适当修正的金字塔池化模块,从深层次特征中获取全局语义信息。在解码过程中,利用通道注意力机制进一步区分卷积神经网络(convolutional neural networks,CNN)生成的特征在不同通道之间对应的语义信息差异。结果在VT821和VT1000两个数据集上进行测试,本文方法的最大F-measure值分别为0.8437和0.8805,平均绝对误差(mean absolute error,MAE)值分别为0.0394和0.0322,相较于对比方法,提升了整体检测性能。结论通过对比实验表明,本文提出的方法提高了显著性检测的稳定性,在一些低光照场景取得了更好效果。
-
关键词
rgb-T显著性目标检测
多模图像融合
多支路协同预测
通道注意力机制
金字塔池化模块(PPM)
-
Keywords
rgb-T salient object detection
multi-modal images fusion
multi-path collaborative prediction
channel attention mechanism
pyramid pooling module(PPM)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于场景几何信息的显著性目标检测方法综述
- 2
-
-
作者
吴岚虎
李智玮
刘垒烨
朴永日
卢湖川
-
机构
大连理工大学信息与通信工程学院
-
出处
《模式识别与人工智能》
EI
CSCD
北大核心
2023年第2期120-142,共23页
-
基金
国家重点研发计划项目(No.2018AAA0102001)
国家自然科学基金项目(No.62172070,62293542,U1903215)
辽宁省中央引导地方科技发展资金项目(No.2022JH6/100100028)资助。
-
文摘
显著性目标检测在图像和视频压缩、伪装物体检测、医学图像分割等领域具有重要作用.随着深度传感器和光场技术的广泛应用,深度图像和光场数据等场景几何信息开始应用于显著性目标检测,可提升模型在复杂场景下的性能,由此学者们提出一系列基于场景几何信息的显著性目标检测方法.文中旨在分析总结经典的基于场景几何信息的显著性目标检测方法.首先,介绍方法的基本框架及评估标准.然后,围绕多模态特征融合、多模态信息优化、网络模型轻量化三方面,分类概述和分析经典的RGB-D显著性目标检测方法和光场显著性目标检测方法.同时,详细介绍基于场景几何信息的显著性目标检测方法的工作进展.最后,讨论方法目前存在的问题,展望未来的研究方向.
-
关键词
显著性目标检测
场景几何信息
rgb-D显著性目标检测
光场显著性目标检测
-
Keywords
salient object detection
Scene Geometric Information
rgb-D salient object detection
Light Field salient object detection
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多模态特征交互的RGB-D显著性目标检测
- 3
-
-
作者
高悦
戴蒙
张晴
-
机构
上海应用技术大学计算机科学与信息工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第2期211-220,共10页
-
基金
上海市自然科学基金(19ZR1455300,21ZR1462600)。
-
文摘
现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。
-
关键词
rgb-D显著性检测
多模态特征
特征交互
特征融合
-
Keywords
rgb-D salient object detection
multi-modal feature
feature interaction
feature fusion
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于互学习和促进分割的RGB-D显著性目标检测
- 4
-
-
作者
夏晨星
王晶晶
葛斌
-
机构
安徽理工大学计算机科学与工程学院
-
出处
《通化师范学院学报》
2024年第6期52-58,共7页
-
基金
国家自然科学基金项目(62102003)
安徽省自然科学基金项目(2108085QF258)
+1 种基金
安徽省博士后基金项目(2022B623)
淮南市科技计划项目(2023A316)。
-
文摘
RGB-D显著性目标检测主要通过融合RGB图像和深度图(Depth)从给定场景中分割最显著的对象.由于受到原始深度图固有噪声的影响,会导致模型在检测过程中拟入错误的信息.为了改善检测效果,该文提出了一种基于互学习和促进分割的RGB-D显著性目标检测模型,设计一个深度优化模块来获取深度图和预测深度图之间最优的深度信息;引入特征对齐模块和跨模态集成模块完成跨模态的融合;针对分割造成的精度损失问题,构建了一个基于多源特征集成机制的分离重构解码器.在5个公开数据集上进行了实验测试,实验结果表明:所提模型与其他模型相比,准确率更高,网络更加稳定.
-
关键词
rgb-D显著性目标检测
互学习
特征对齐
跨模态集成
-
Keywords
rgb-D salient object detection
mutual learning
semantic alignment
cross-modal integration
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名空间约束下自相互注意力的RGB-D显著目标检测
- 5
-
-
作者
袁晓
肖云
江波
汤进
-
机构
安徽大学计算机科学与技术学院多模态认知计算安徽省重点实验室
安徽大学人工智能学院
合肥综合性国家科学中心
-
出处
《模式识别与人工智能》
EI
CSCD
北大核心
2022年第6期526-535,共10页
-
基金
国家自然科学基金项目(No.62076004,62006002)
安徽省自然科学基金青年项目(No.1908085QF264)
安徽高校协同创新项目(No.GXXT-2020-013)资助。
-
文摘
针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.
-
关键词
rgb-D显著目标检测
多模态融合
自注意力机制
卷积神经网络
-
Keywords
rgb-D salient object detection
Multi-modal Fusion
Self-Attention Mechanism
Convolution Neural Network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于深度学习的显著性目标检测综述
被引量：5
- 6
-
-
作者
孙涵
刘译善
林昱涵
-
机构
南京航空航天大学计算机科学与技术学院/人工智能学院/软件学院
-
出处
《数据采集与处理》
CSCD
北大核心
2023年第1期21-50,共30页
-
文摘
显著性目标检测通过模仿人的视觉感知系统,寻找最吸引视觉注意的目标,已被广泛应用于图像理解、语义分割、目标跟踪等计算机视觉任务中。随着深度学习技术的快速发展,显著性目标检测研究取得了巨大突破。本文总结了近5年相关工作,全面回顾了3类不同模态的显著性目标检测任务,包括基于RGB图像、基于RGB-D/T(Depth/Thermal)图像以及基于光场图像的显著性目标检测。首先分析了3类研究分支的任务特点,并概述了研究难点;然后就各分支的研究技术路线和优缺点进行阐述和分析,并简单介绍了3类研究分支常用的数据集和主流的评价指标。最后,对基于深度学习的显著性目标检测领域未来研究方向进行了探讨。
-
关键词
深度学习
rgb图像显著性目标检测
rgb-D/T图像显著性目标检测
光场图像显著性目标检测
-
Keywords
deep learning
rgb salient object detection
rgb-D/T salient object detection
light field salient object detection
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
