基于NSST的红外与可见光图像融合算法 被引量：32

1

作者 邓立暖 尧新峰 《电子学报》 EI CAS CSCD 北大核心 2017年第12期2965-2970,共6页

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换(NSST)的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像... 针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换(NSST)的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法. 展开更多

关键词 图像融合 红外与可见光图像 NSST 显著图 区域对比度

下载PDF 职称材料

基于NSCT域FAST角点检测的电气设备红外与可见光图像配准 被引量：19

2

作者 戴进墩 刘亚东 +2 位作者 毛先胤 盛戈皞 江秀臣 《电测与仪表》 北大核心 2019年第1期108-114,共7页

针对电气设备在线监测系统中红外与可见光图像配准问题,提出了基于非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)域改进的加速分割检测特征(Features from Accelerated Segment Test,FAST)提取的图像配准方法。首先采... 针对电气设备在线监测系统中红外与可见光图像配准问题,提出了基于非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)域改进的加速分割检测特征(Features from Accelerated Segment Test,FAST)提取的图像配准方法。首先采用灰度均衡技术对原始图像进行图像增强;再通过一级NSCT变换得到红外与可见光的低频子带图像;然后对低频子带图像利用FAST角点检测以及局域强度不变特征描述符(Partially Intensity In-variant Feature Descriptor,PIIFD)得到特征描述点对;最后,利用最近邻距离比率法及随机抽样一致性算法(Random Sample Consensus,RANSAC)得到精匹配点对,进而计算仿射变换参数。实验结果表明,相比传统的PIIFD配准算法,该方法的特征点正确匹配率提高了2. 52%,配准均方根误差降低11. 58%。 展开更多

关键词 图像配准 红外与可见光图像 加速分割检测算法 非下采样轮廓波变换 局部强度不变描述符

下载PDF 职称材料

基于FPDE的红外与可见光图像融合算法 被引量：19

3

作者 高雪琴 刘刚 +2 位作者 肖刚 BAVIRISETTI Durga Prasad 史凯磊 《自动化学报》 EI CSCD 北大核心 2020年第4期796-804,共9页

针对传统红外与可见光图像融合算法中存在的细节信息不够丰富,边缘信息保留不够充分等问题,文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红... 针对传统红外与可见光图像融合算法中存在的细节信息不够丰富,边缘信息保留不够充分等问题,文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解,得到高频分量和低频分量;然后,对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像,对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像;最后,通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的,并与传统的和最近的融合方法进行比较,结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息,有更好的视觉效果. 展开更多

关键词 图像融合 四阶偏微分方程 期望值最大 主成分分析 红外与可见光图像

下载PDF 职称材料

基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合 被引量：13

4

作者 朱攀 黄战华 《光电子．激光》 EI CAS CSCD 北大核心 2017年第10期1156-1162,共7页

针对传统多尺度图像融合方法容易损失可见光图像细节、弱化红外目标信息和降低图像对比度的问题,基于二维经验模态分解(BEMD)和高斯模糊逻辑(GFL)的特性,提出了一种红外与可见光图像融合的算法。首先,使用BEMD对源图像进行分解,得到图... 针对传统多尺度图像融合方法容易损失可见光图像细节、弱化红外目标信息和降低图像对比度的问题,基于二维经验模态分解(BEMD)和高斯模糊逻辑(GFL)的特性,提出了一种红外与可见光图像融合的算法。首先,使用BEMD对源图像进行分解,得到图像的本征模(高频成分)和趋势项(低频成分);其次,用GFL对趋势项进行恰当的融合,使用基于邻域特征的区域对比度法融合图像的本征模;最后,通过BEMD逆变换得到融合图像。实验结果表明,与传统的多尺度融合方法相比,在主观上视觉上,本文融合算法能够更有效地保留源可见光图像中的细节信息,并突出红外图像中的目标信息,提高融合图像的质量;在客观评价指标上,本文融合算法的结果在信息熵(IE)、标准差(SD)、平均梯度(AG)、互信息(MI)和空间频率(SF)5个客观指标上明显优于传统的多尺度融合方法。 展开更多

关键词 图像融合 红外与可见光图像 二维经验模态分解(B—EMD) 高斯模糊逻辑(GFL)

原文传递

基于互信息和梯度的红外与可见光图像配准新方法 被引量：11

5

作者 崔伟 刘圣霞 +2 位作者 徐骞 茅小祥 田裕鹏 《激光与红外》 CAS CSCD 北大核心 2011年第2期224-228,共5页

红外与可见光图像配准是常见的多传感器图像配准,在军事、遥感等领域有着广泛的应用。提出了一种基于互信息和图像梯度的红外与可见光图像的自动配准方法:首先,获得图像的梯度信息,然后根据定义的扩展结构获得边缘区域图像,选择最大归... 红外与可见光图像配准是常见的多传感器图像配准,在军事、遥感等领域有着广泛的应用。提出了一种基于互信息和图像梯度的红外与可见光图像的自动配准方法:首先,获得图像的梯度信息,然后根据定义的扩展结构获得边缘区域图像,选择最大归一化互信息作为相似性测度,使用Powell算法获得最佳配准参数。实验结果证明,本文方法较传统的基于互信息和梯度的配准方法,提高了配准的速度和精度,可以作为一种有效的粗配准的方法。 展开更多

关键词 图像配准 红外与可见光图像 边缘图像 梯度 互信息

下载PDF 职称材料

Tetrolet框架下红外与可见光图像融合 被引量：12

6

作者 冯鑫 《光子学报》 EI CAS CSCD 北大核心 2019年第2期70-78,共9页

提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解;采用联合稀疏方法进行低频系数融合,通过学习字典进行低频系数... 提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解;采用联合稀疏方法进行低频系数融合,通过学习字典进行低频系数的精确拟合并融合.在高频子带系数融合上,采用改进脉冲耦合神经网络设置相应的融合规则,根据神经元的点火次数来选择融合图像的高频系数;并对处理后的高低频系数值进行Tetrolet逆变换获取最终融合结果.结果表明,该方法能够有效保留待融合图像的边缘与细节特征,融合结果具有良好的视觉效果,能够增强观察者对于场景的感知和重要目标的识别能力.在互信息、梯度信息、结构相似度以及视觉敏感度指标上都优于传统变换域融合方法,尤其在结构相似度以及梯度保持度上分别领先0.033和0.025,具有有效性. 展开更多

关键词 红外与可见光图像 图像融合 Tetrolet变换 联合稀疏表示 脉冲耦合神经网络

下载PDF 职称材料

采用类内迁移学习的红外/可见光异源图像匹配 被引量：10

7

作者 毛远宏 贺占庄 +2 位作者 马钟 毕瑞星 王竹平 《西安交通大学学报》 EI CAS CSCD 北大核心 2020年第1期49-55,共7页

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过... 为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征。将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐。匹配度量子网络使用2个全连接层和1个softmax层进行串联,评估出异源图像特征的匹配度。构建了红外和可见光图像数据集,进行端到端的训练和测试。结果表明:与当前使用预训练模型微调的方法相比,PairsNet的准确率提升了10.54%,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络。 展开更多

关键词 异源图像 图像匹配 迁移学习

下载PDF 职称材料

视觉显著性指导的红外与可见光图像融合算法 被引量：10

8

作者 易翔 王炳健 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2019年第1期27-32,38,共7页

为了获取适合人眼观测的高质量红外与可见光融合图像,提出了一种基于视觉显著性指导的红外与可见光图像融合算法。首先,利用改进的流形排序法分别检测红外与可见光图像的视觉显著性区域;然后,采用非下采样轮廓波变换对红外和可见光图像... 为了获取适合人眼观测的高质量红外与可见光融合图像,提出了一种基于视觉显著性指导的红外与可见光图像融合算法。首先,利用改进的流形排序法分别检测红外与可见光图像的视觉显著性区域;然后,采用非下采样轮廓波变换对红外和可见光图像进行多尺度、多方向分解,从而获取各自低频子带和高频子带,并将视觉显著性的检测结果用于指导分配低频子带的融合权重,即依据显著度大小赋予不同的权值,而高频子带的融合则依据局部标准差准则赋值;最后,通过非下采样轮廓波逆变换获得融合图像。实验结果表明:这种算法不仅可以保全可见光图像中的细节信息,而且能够精确地突显出红外目标信息,具有较好的视觉效果,增强了红外与可见光复合前视系统的识别性能。 展开更多

关键词 图像融合 红外与可见光图像 非下采样轮廓波 视觉显著性

下载PDF 职称材料

基于改进曲率尺度空间算法的电力设备红外与可见光图像配准 被引量：7

9

作者 李云红 罗雪敏 +3 位作者 苏雪平 朱耀麟 姚兰 段姣姣 《激光与光电子学进展》 CSCD 北大核心 2022年第12期128-135,共8页

针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题,提出一种改进曲率尺度空间(CSS)算法的电力设备红外与可见光图像配准方法。首先引入Freeman链码差提高CSS算法的特征点提取精度,其次为每个特征点分配点到弦的垂直距离... 针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题,提出一种改进曲率尺度空间(CSS)算法的电力设备红外与可见光图像配准方法。首先引入Freeman链码差提高CSS算法的特征点提取精度,其次为每个特征点分配点到弦的垂直距离特征主方向,采用加速稳健特征变换(SURF)算法获得特征描述算子,最后利用双边快速近似最近邻(FLANN)搜索匹配方法和随机抽样一致(RANSAC)方法得到正确的匹配点对,获得仿射变换模型参数。实验结果表明:改进CSS图像配准方法与SURF、尺度不变特征变换(SIFT)、CSS配准方法相比性能指标均有显著提升,平均均方根误差(RMSE)较其他3种算法分别降低了77.73%、80.32%、7.63%;平均匹配时间分别降低了30.82%、40.12%、10.57%,提高了电力设备红外与可见光图像配准的效率。 展开更多

关键词 图像处理 图像匹配 电力设备 红外与可见光图像 FREEMAN链码 双边快速近似最近邻搜索匹配

原文传递

基于双模态卷积神经网络自适应迁移学习的浮选工况识别 被引量：8

10

作者 廖一鹏 杨洁洁 +1 位作者 王志刚 王卫星 《光子学报》 EI CAS CSCD 北大核心 2020年第10期167-178,共12页

为提高小规模训练集下CNN特征驱动的浮选工况识别效果,提出一种基于泡沫红外与可见光图像CNN特征提取及自适应迁移学习的工况识别方法.首先构建基于AlexNet的双模态CNN特征提取及识别模型,并通过RGB-D大规模数据集对模型的结构参数进行... 为提高小规模训练集下CNN特征驱动的浮选工况识别效果,提出一种基于泡沫红外与可见光图像CNN特征提取及自适应迁移学习的工况识别方法.首先构建基于AlexNet的双模态CNN特征提取及识别模型,并通过RGB-D大规模数据集对模型的结构参数进行预训练;其次,用多个串联的双隐层自编码极限学习机代替预训练模型的全连接层,实现对双模态CNN特征的融合及逐层抽象提取,然后通过核极限学习机映射到更高维空间进行决策;最后构建浮选小规模数据集对迁移后的模型进行训练,并改进量子狼群算法用于模型参数优化.实验结果表明:自适应迁移学习能够明显提高小样本数据集下的识别准确度,采用双模态CNN迁移学习较单模态CNN迁移学习的工况识别精度提高了3.06%,各工况的平均识别准确率达到96.83%,识别精度和稳定性较现有方法有较大提升. 展开更多

关键词 机器视觉 浮选工况识别 红外与可见光图像 卷积神经网络 迁移学习 双隐层自编码极限学习机 量子狼群算法

下载PDF 职称材料

基于模态转换的红外与可见光图像配准方法 被引量：8

11

作者 周美琪 高陈强 +1 位作者 木松 刘芳岑 《计算机工程与设计》 北大核心 2020年第10期2862-2866,共5页

针对红外与可见光两种模态图像的差异性,提出基于模态转换的红外与可见光图像配准方法。使用生成式对抗网络将可见光图像映射到红外光谱,减少可见光与红外图像的光谱的差异性;基于图像块的相似准则,提取两种图像局部邻域中的独特结构,... 针对红外与可见光两种模态图像的差异性,提出基于模态转换的红外与可见光图像配准方法。使用生成式对抗网络将可见光图像映射到红外光谱,减少可见光与红外图像的光谱的差异性;基于图像块的相似准则,提取两种图像局部邻域中的独特结构,引入归一化互信息作为配准度量,实现红外图像与可见光图像配准。实验结果验证了模态转换后的红外光谱信息对提取模态独立邻域特征的有效性,在同类算法中有较好的配准效果。 展开更多

关键词 图像配准 图像生成 模态转换 红外与可见光图像 模态独立邻域特征

下载PDF 职称材料

高频信息矢量匹配实现异源图像配准 被引量：7

12

作者 韩广良 《中国光学》 EI CAS 2011年第5期468-473,共6页

介绍了一种通过提取红外与可见图像高频信息形成矢量模型的方法,该模型可用于可见和红外两种不同波段相同场景图像的配准。分析了红外与可见图像的共同特性,即边缘高频特性,并在作为模板的图像中提取这类高频信息。利用人工干预的方法... 介绍了一种通过提取红外与可见图像高频信息形成矢量模型的方法,该模型可用于可见和红外两种不同波段相同场景图像的配准。分析了红外与可见图像的共同特性,即边缘高频特性,并在作为模板的图像中提取这类高频信息。利用人工干预的方法形成矢量模型,该矢量模型可通过实时姿态信息进行实时三维变换,并重新投影为二维图形,据此可在另一图像中进行特征搜索,达到两者匹配的目的。利用实际数据进行了实验分析,结果显示,利用本文算法提取的矢量模型,经变换后能可靠地实现异源目标自动识别;实验证明此方法有效可行,并可推广应用于各种异源图像间的自动目标识别和配准处理。 展开更多

关键词 异源配准 高频矢量模型 实时三维变换 红外与可见图像

下载PDF 职称材料

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络

13

作者 徐少平 周常飞 +2 位作者 肖建 陶武勇 戴田宇 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3305-3313,共9页

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自... 为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。 展开更多

关键词 红外与可见光图像 图像融合 自监督预训练 无监督融合训练 固定参数 深度特征调制

下载PDF 职称材料

基于Retinex增强的多尺度分解的红外与可见光图像融合算法

14

作者 郭印 杜丽霞 《Journal of Measurement Science and Instrumentation》 CAS CSCD 2024年第2期176-184,共9页

针对传统红外与可见光图像融合算法在低照度条件下融合结果对比度差、目标边际模糊、背景细节信息丢失等问题,提出一种基于Retinex增强的多尺度分解的红外与可见光图像融合算法。首先,利用Retinex对弱可见光图像进行单尺度Retinex(SSR)... 针对传统红外与可见光图像融合算法在低照度条件下融合结果对比度差、目标边际模糊、背景细节信息丢失等问题,提出一种基于Retinex增强的多尺度分解的红外与可见光图像融合算法。首先,利用Retinex对弱可见光图像进行单尺度Retinex(SSR)算法信息增强处理;其次,利用交叉双边滤波对源图像进行多尺度分解,先后得到图像的基层图像信息和细节层图像信息,对基础层图像采用绝对值取大策略和引导滤波相结合的融合方法,对细节层图像采用构建权重图和显著图的融合方法;最后,将处理后的基础层图像和细节层图像加权得到融合图像。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,多组图像融合结果表明,本文所提方法的AG、SF、CE和FMI指标均较好。 展开更多

关键词 图像融合 红外与可见光图像 RETINEX算法 多尺度分解 引导滤波

下载PDF 职称材料

基于深度学习的红外可见光图像融合综述

15

作者 王恩龙 李嘉伟 +1 位作者 雷佳 周士华 《计算机科学与探索》 CSCD 北大核心 2024年第4期899-915,共17页

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合(IVIF)作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛... 如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合(IVIF)作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。 展开更多

关键词 图像融合 红外可见光图像 深度学习

下载PDF 职称材料

基于残差Swin Transformer模块的红外与可见光图像融合研究

16

作者 王金生 周元元 陈珺 《苏州市职业大学学报》 2024年第2期55-62,共8页

针对图像特征提取时,由于图像上下文信息以及图像细节丢失,易导致融合图像的纹理不够清晰、结果不够显著的问题;因此,提出了一种基于残差Swin Transformer模块的红外与可见光图像融合模型,即STB-Fusion模型。红外和可见光图像融合不仅... 针对图像特征提取时,由于图像上下文信息以及图像细节丢失,易导致融合图像的纹理不够清晰、结果不够显著的问题;因此,提出了一种基于残差Swin Transformer模块的红外与可见光图像融合模型,即STB-Fusion模型。红外和可见光图像融合不仅能提供可见光图像丰富的纹理细节和结构信息,还能保留突出的红外目标,以更有效地应用在后续任务中。实验结果表明:STB-Fusion模型生成融合后的图像可以更有效地保留可见光图像丰富的纹理细节和红外图像突出的热辐射信息,在主观视觉和客观评价中均取得了很好的效果。 展开更多

关键词 图像融合 Swin Transformer 特征融合 红外与可见光图像

下载PDF 职称材料

基于注意力密集网络的伪彩色红外与可见光图像融合

17

作者 漆建环 倪波 +3 位作者 周晓彦 倪海彬 杨凌升 常建华 《国外电子测量技术》 2024年第5期84-91,共8页

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像... 针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。 展开更多

关键词 红外与可见光图像 图像融合 注意力模块 密集连接块

下载PDF 职称材料

基于结构重参数化的红外与可见光图像融合

18

作者 陈昭宇 范洪博 +1 位作者 马美燕 赵艺博 《控制与决策》 EI CSCD 北大核心 2024年第7期2275-2283,共9页

红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息,然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题.对此,提出一种基于结构重参数化的红外... 红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息,然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题.对此,提出一种基于结构重参数化的红外与可见光图像融合算法.首先,通过带权重共享的双分支残差连接型网络分别对两种源图像进行特征提取,分别得到的特征级联后图像重建;然后,用结构相似性损失与双边滤波去噪的内容损失联合指导网络的训练;最后,在训练完成后进行结构重参数化将训练网络优化成直连型网络.在多个公共数据集上与7种领先的深度学习融合算法进行了定性与定量的实验对比,所提出的融合算法在更低的资源耗费下能够实现多个评价指标的提升,融合结果具有更丰富的场景信息、更强的对比度以及更符合人眼的视觉效果. 展开更多

关键词 图像融合 结构重参数化 红外与可见光图像 双边滤波 深度学习

原文传递

基于双模态图像关联式融合的行人实时检测

19

作者 毕程程 黄妙华 +1 位作者 刘若璎 王量子 《激光与光电子学进展》 CSCD 北大核心 2024年第8期453-460,共8页

为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题,提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计,主干网络嵌入关联式融合模块RAMFusion用以提取... 为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题,提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计,主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征;将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积;引入Soft-NMS改善结群行人漏检问题;嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明:与其他融合方法相比,所提方法行人漏检率降低、检测速度显著提高;与YOLOv7-Tiny相比,改进后的模型检测精度提高了2.4%,每秒检测帧数达到124 frame/s,能够满足低能见度行人实时检测需求。 展开更多

关键词 行人检测 红外与可见光图像 关联式融合 轻量化网络 注意力机制 YOLOv7-Tiny

原文传递

基于引导滤波和快速共现滤波的红外和可见光图像融合 被引量：5

20

作者 朱文鹏 陈莉 张永新 《计算机应用研究》 CSCD 北大核心 2021年第2期600-604,610,共6页

针对红外和可见光图像融合结果背景信息不足、对比度较低的问题,提出一种结合引导滤波和快速共现滤波的融合方法。首先,以高斯滤波将源图像分解为细节层和基础层。然后以去除值域滤波器、全局统计共现信息的方式简化共现滤波,形成快速... 针对红外和可见光图像融合结果背景信息不足、对比度较低的问题,提出一种结合引导滤波和快速共现滤波的融合方法。首先,以高斯滤波将源图像分解为细节层和基础层。然后以去除值域滤波器、全局统计共现信息的方式简化共现滤波,形成快速共现滤波,再用其融合细节层;此外,引入窗口因子,用图像大小与窗口因子比值确定引导滤波窗口值,再用其融合基础层。实验结果表明该算法增加了图像背景细节,提高了人物与背景的对比度。主观和客观的实验分析验证了该算法的有效性。 展开更多

关键词 图像融合 红外和可见光图像 快速共现滤波 引导滤波

下载PDF 职称材料