微光/红外图像彩色融合是目前国内外夜视技术的重要发展方向,在超低照度下(环境照度小于2×10-3 lux),由于成像器件限制,微光图像具有低信噪比、低对比度等特点,导致目标难以辨识,成为制约彩色夜视技术的关键。为了提高目标的探测...微光/红外图像彩色融合是目前国内外夜视技术的重要发展方向,在超低照度下(环境照度小于2×10-3 lux),由于成像器件限制,微光图像具有低信噪比、低对比度等特点,导致目标难以辨识,成为制约彩色夜视技术的关键。为了提高目标的探测和识别率,提出了一种基于卷积自编码网络的微光图像复原方法,利用卷积自编码网络从微光图像训练集中学习超低照度下微光图像特征,实现去噪和对比度增强。实验结果表明,本文提出的方法得到的峰值信噪比(Peak Signal to Noise Ratio,PSNR)较经典的BM3D算法平均提高1.67dB,结构相似度(Structural Similarity Index,SSIM)的值平均提高0.063,均方根对比度的值(Root Mean Square Contrast,RMSC)平均提高0.19。对微光图像复原具有很好的效果,能够有效地提高信噪比和对比度水平。展开更多
Deep learning offers a novel opportunity to achieve both high-quality and high-speed computer-generated holography(CGH).Current data-driven deep learning algorithms face the challenge that the labeled training dataset...Deep learning offers a novel opportunity to achieve both high-quality and high-speed computer-generated holography(CGH).Current data-driven deep learning algorithms face the challenge that the labeled training datasets limit the training performance and generalization.The model-driven deep learning introduces the diffraction model into the neural network.It eliminates the need for the labeled training dataset and has been extensively applied to hologram generation.However,the existing model-driven deep learning algorithms face the problem of insufficient constraints.In this study,we propose a model-driven neural network capable of high-fidelity 4K computer-generated hologram generation,called 4K Diffraction Model-driven Network(4K-DMDNet).The constraint of the reconstructed images in the frequency domain is strengthened.And a network structure that combines the residual method and sub-pixel convolution method is built,which effectively enhances the fitting ability of the network for inverse problems.The generalization of the 4K-DMDNet is demonstrated with binary,grayscale and 3D images.High-quality full-color optical reconstructions of the 4K holograms have been achieved at the wavelengths of 450 nm,520 nm,and 638 nm.展开更多
针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上...针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。展开更多
本文针对实际生产中需要对工件进行自动检测,获取工件质心的问题,采用了边缘检测技术以及最小外接矩形算法对工件定位的方式,采用了BP神经网络完成相机标定.针对基于RCF的边缘检测技术生成边缘粗糙的问题,提出了一种RCF(Richer Convolut...本文针对实际生产中需要对工件进行自动检测,获取工件质心的问题,采用了边缘检测技术以及最小外接矩形算法对工件定位的方式,采用了BP神经网络完成相机标定.针对基于RCF的边缘检测技术生成边缘粗糙的问题,提出了一种RCF(Richer Convolutional Features for Edge Detection)模型的优化方法,将每个阶段用于提升特征图分辨率的反卷积操作替换成可以生成更精细边缘、时间复杂度更低的亚像素卷积.针对相机标定过程中存在的诸多需要用复杂数学模型表达的非线性畸变,提出了一个BP神经网络来拟合复杂非线性映射,实现二维像素坐标到三维机器人基坐标系下坐标的映射,实验结果表明,误差可以控制在0.5mm之内,可以满足实际应用的需要.展开更多
随着当今时代科技和人工智能的高速发展,人们越来越倾向于无人驾驶这项技术。考虑到安全问题,针对驾驶过程中交通标志的实时检测问题,在YOLOv5模型的基础上做出改进,提出了一种轻量化的交通标志检测算法。在模型的特征融合部分加入了注...随着当今时代科技和人工智能的高速发展,人们越来越倾向于无人驾驶这项技术。考虑到安全问题,针对驾驶过程中交通标志的实时检测问题,在YOLOv5模型的基础上做出改进,提出了一种轻量化的交通标志检测算法。在模型的特征融合部分加入了注意力机制,可以使模型更加突出目标特征。在检测层前加入一种轻量化的亚像素卷积层,在不增加计算量的基础上,有效地提高检测特征图的分辨率。对损失函数CIoU(Complete intersection over union)加以改进,加快了网络的收敛速度,并且收敛效果较改进前有了一定提升。实验结果表明,本文模型准确率可达到90.6%,较基础网络提高了14.5%,检测速度可达到70帧/s,基本满足对交通标志的实时精准检测。展开更多
文摘微光/红外图像彩色融合是目前国内外夜视技术的重要发展方向,在超低照度下(环境照度小于2×10-3 lux),由于成像器件限制,微光图像具有低信噪比、低对比度等特点,导致目标难以辨识,成为制约彩色夜视技术的关键。为了提高目标的探测和识别率,提出了一种基于卷积自编码网络的微光图像复原方法,利用卷积自编码网络从微光图像训练集中学习超低照度下微光图像特征,实现去噪和对比度增强。实验结果表明,本文提出的方法得到的峰值信噪比(Peak Signal to Noise Ratio,PSNR)较经典的BM3D算法平均提高1.67dB,结构相似度(Structural Similarity Index,SSIM)的值平均提高0.063,均方根对比度的值(Root Mean Square Contrast,RMSC)平均提高0.19。对微光图像复原具有很好的效果,能够有效地提高信噪比和对比度水平。
基金We are grateful for financial supports from National Natural Science Foundation of China(62035003,61775117)China Postdoctoral Science Foundation(BX2021140)Tsinghua University Initiative Scientific Research Program(20193080075).
文摘Deep learning offers a novel opportunity to achieve both high-quality and high-speed computer-generated holography(CGH).Current data-driven deep learning algorithms face the challenge that the labeled training datasets limit the training performance and generalization.The model-driven deep learning introduces the diffraction model into the neural network.It eliminates the need for the labeled training dataset and has been extensively applied to hologram generation.However,the existing model-driven deep learning algorithms face the problem of insufficient constraints.In this study,we propose a model-driven neural network capable of high-fidelity 4K computer-generated hologram generation,called 4K Diffraction Model-driven Network(4K-DMDNet).The constraint of the reconstructed images in the frequency domain is strengthened.And a network structure that combines the residual method and sub-pixel convolution method is built,which effectively enhances the fitting ability of the network for inverse problems.The generalization of the 4K-DMDNet is demonstrated with binary,grayscale and 3D images.High-quality full-color optical reconstructions of the 4K holograms have been achieved at the wavelengths of 450 nm,520 nm,and 638 nm.
文摘针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。
文摘本文针对实际生产中需要对工件进行自动检测,获取工件质心的问题,采用了边缘检测技术以及最小外接矩形算法对工件定位的方式,采用了BP神经网络完成相机标定.针对基于RCF的边缘检测技术生成边缘粗糙的问题,提出了一种RCF(Richer Convolutional Features for Edge Detection)模型的优化方法,将每个阶段用于提升特征图分辨率的反卷积操作替换成可以生成更精细边缘、时间复杂度更低的亚像素卷积.针对相机标定过程中存在的诸多需要用复杂数学模型表达的非线性畸变,提出了一个BP神经网络来拟合复杂非线性映射,实现二维像素坐标到三维机器人基坐标系下坐标的映射,实验结果表明,误差可以控制在0.5mm之内,可以满足实际应用的需要.
文摘随着当今时代科技和人工智能的高速发展,人们越来越倾向于无人驾驶这项技术。考虑到安全问题,针对驾驶过程中交通标志的实时检测问题,在YOLOv5模型的基础上做出改进,提出了一种轻量化的交通标志检测算法。在模型的特征融合部分加入了注意力机制,可以使模型更加突出目标特征。在检测层前加入一种轻量化的亚像素卷积层,在不增加计算量的基础上,有效地提高检测特征图的分辨率。对损失函数CIoU(Complete intersection over union)加以改进,加快了网络的收敛速度,并且收敛效果较改进前有了一定提升。实验结果表明,本文模型准确率可达到90.6%,较基础网络提高了14.5%,检测速度可达到70帧/s,基本满足对交通标志的实时精准检测。
