为进一步提升深度学习网络对雾天场景下目标的检测精度,在YOLOX网络基础上,提出了基于新型特征增强与融合(novel feature enhancement and fusion, NFF)的雾天目标检测方法NFF-YOLOX。首先,在瓶颈结构中通过多支路卷积构建新型特征增强...为进一步提升深度学习网络对雾天场景下目标的检测精度,在YOLOX网络基础上,提出了基于新型特征增强与融合(novel feature enhancement and fusion, NFF)的雾天目标检测方法NFF-YOLOX。首先,在瓶颈结构中通过多支路卷积构建新型特征增强模块,该模块在保留基本信息特征的同时能够提取更多有效特征信息,增强目标特征的表征能力,提升网络对目标的特征提取能力;其次,利用双向金字塔自上而下和自下而上的网络特征构建新型特征融合模块,使目标的语义信息从深层特征流向浅层特征,充分融合和提取图像的细节特征,并在瓶颈结构的特征融合模块引入坐标注意力,模型在训练时能准确定位目标,减少目标特征信息的丢失;最后,考虑到正负样本可能存在不均衡的情况,将Focal loss与α-IOU结合构造一种新型损失函数,减少模型训练时的损失,缩短收敛时间,提升网络对雾天目标的识别率。实验结果表明:该方法与YOLOv7及DETR等6种先进目标检测网络相比,在真实雾天数据集RTTS上能够取得更高的雾天目标检测精度,当真实框与预测框的交并比(intersection over union, IOU)为0.5时,平均精度(mean average precision, mAP)提高了1.3%以上,当IOU从0.5到0.95且步长为0.05时,mAP提高了2.99%以上。展开更多
文摘为进一步提升深度学习网络对雾天场景下目标的检测精度,在YOLOX网络基础上,提出了基于新型特征增强与融合(novel feature enhancement and fusion, NFF)的雾天目标检测方法NFF-YOLOX。首先,在瓶颈结构中通过多支路卷积构建新型特征增强模块,该模块在保留基本信息特征的同时能够提取更多有效特征信息,增强目标特征的表征能力,提升网络对目标的特征提取能力;其次,利用双向金字塔自上而下和自下而上的网络特征构建新型特征融合模块,使目标的语义信息从深层特征流向浅层特征,充分融合和提取图像的细节特征,并在瓶颈结构的特征融合模块引入坐标注意力,模型在训练时能准确定位目标,减少目标特征信息的丢失;最后,考虑到正负样本可能存在不均衡的情况,将Focal loss与α-IOU结合构造一种新型损失函数,减少模型训练时的损失,缩短收敛时间,提升网络对雾天目标的识别率。实验结果表明:该方法与YOLOv7及DETR等6种先进目标检测网络相比,在真实雾天数据集RTTS上能够取得更高的雾天目标检测精度,当真实框与预测框的交并比(intersection over union, IOU)为0.5时,平均精度(mean average precision, mAP)提高了1.3%以上,当IOU从0.5到0.95且步长为0.05时,mAP提高了2.99%以上。
