Visual SLAM methods usually presuppose that the scene is static, so the SLAM algorithm formobile robots in dynamic scenes often results in a signicant decrease in accuracy due to thein°uence of dynamic objects. I...Visual SLAM methods usually presuppose that the scene is static, so the SLAM algorithm formobile robots in dynamic scenes often results in a signicant decrease in accuracy due to thein°uence of dynamic objects. In this paper, feature points are divided into dynamic and staticfrom semantic information and multi-view geometry information, and then static region featurepoints are added to the pose-optimization, and static scene maps are established for dynamicscenes. Finally, experiments are conducted in dynamic scenes using the KITTI dataset, and theresults show that the proposed algorithm has higher accuracy in highly dynamic scenes comparedto the visual SLAM baseline.展开更多
由于传统的同步定位与建图(simultaneous localization and mapping,SLAM)中有很强的静态刚性假设,故系统定位精度和鲁棒性容易受到环境中动态对象的干扰。针对这种现象,提出一种在室内动态环境下基于深度学习的视觉SLAM算法。基于ORB-S...由于传统的同步定位与建图(simultaneous localization and mapping,SLAM)中有很强的静态刚性假设,故系统定位精度和鲁棒性容易受到环境中动态对象的干扰。针对这种现象,提出一种在室内动态环境下基于深度学习的视觉SLAM算法。基于ORB-SLAM2进行改进,在SLAM前端加入多视角几何,并与YOLOv5s目标检测算法进行融合,最后对处理后的静态特征点进行帧间匹配。实验使用TUM数据集进行测试,结果显示:SLAM算法结合多视角几何、目标检测后,系统的绝对位姿估计精度在高动态环境中相较于ORB-SLAM2有明显提高。与其他SLAM算法的定位精度相比,改进算法仍有不同程度的改善。展开更多
传统的同步定位与制图(Simultaneous localization and mapping,SLAM)系统在复杂环境下工作时,无法分辨环境中的物体是否存在运动状态,图像中运动的物体可能导致特征关联错误,引起定位的不准确和地图构建的偏差。为了提高SLAM系统在动...传统的同步定位与制图(Simultaneous localization and mapping,SLAM)系统在复杂环境下工作时,无法分辨环境中的物体是否存在运动状态,图像中运动的物体可能导致特征关联错误,引起定位的不准确和地图构建的偏差。为了提高SLAM系统在动态环境下的鲁棒性和可靠性,本文提出了一种顾及动态物体感知的增强型视觉SLAM系统。首先,使用深度学习网络对每一帧图像的动态物体进行初始检测,然后使用多视图几何方法更加精细地判断目标检测无法确定的动态物体区域。通过剔除属于动态物体上的特征跟踪点,提高系统的鲁棒性。本文方法在公共数据集TUM和KITTI上进行了测试,结果表明在动态场景中定位结果的准确度有了明显提升,尤其在高动态序列中相对于原始算法的精度提升在92%以上。与其他顾及动态场景的SLAM系统相比,本文方法在保持精度优势的同时,提高了运行结果的稳定性和时间效率。展开更多
随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄...随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄目标场景时,相机位姿分布具有较大的随机性,难以保证获取到和训练数据集质量等同或接近的目标场景图像数据,从而影响恢复效果。为了缓解这一问题,该文提出了基于弱随机相机位姿图像的三维场景恢复方法,通过给用户提供目标场景拍摄建议,降低所获取目标场景图像相机位姿分布的随机性,提高场景的三维恢复效果。首先,用户在目标场景拍摄指导下,获得同一场景下不同视角的二维图像数据,然后通过SFM(Structure From Motion)恢复场景的三维稀疏点云和相机位姿,最后在MVS(Multi-View Stereo)网络模型中进行三维点云的稠密重建。实验结果表明,相比拍摄建议前,该方法有效降低了所获取目标场景图像相机位姿分布的随机性,三维场景恢复成功率提高了52.95%。展开更多
基金the National Natural Science Foundation of China(U21A20487)Shenzhen Technology Project(JCYJ20180507182610734)and CAS Key Technology Talent Program.
文摘Visual SLAM methods usually presuppose that the scene is static, so the SLAM algorithm formobile robots in dynamic scenes often results in a signicant decrease in accuracy due to thein°uence of dynamic objects. In this paper, feature points are divided into dynamic and staticfrom semantic information and multi-view geometry information, and then static region featurepoints are added to the pose-optimization, and static scene maps are established for dynamicscenes. Finally, experiments are conducted in dynamic scenes using the KITTI dataset, and theresults show that the proposed algorithm has higher accuracy in highly dynamic scenes comparedto the visual SLAM baseline.
文摘由于传统的同步定位与建图(simultaneous localization and mapping,SLAM)中有很强的静态刚性假设,故系统定位精度和鲁棒性容易受到环境中动态对象的干扰。针对这种现象,提出一种在室内动态环境下基于深度学习的视觉SLAM算法。基于ORB-SLAM2进行改进,在SLAM前端加入多视角几何,并与YOLOv5s目标检测算法进行融合,最后对处理后的静态特征点进行帧间匹配。实验使用TUM数据集进行测试,结果显示:SLAM算法结合多视角几何、目标检测后,系统的绝对位姿估计精度在高动态环境中相较于ORB-SLAM2有明显提高。与其他SLAM算法的定位精度相比,改进算法仍有不同程度的改善。
文摘传统的同步定位与制图(Simultaneous localization and mapping,SLAM)系统在复杂环境下工作时,无法分辨环境中的物体是否存在运动状态,图像中运动的物体可能导致特征关联错误,引起定位的不准确和地图构建的偏差。为了提高SLAM系统在动态环境下的鲁棒性和可靠性,本文提出了一种顾及动态物体感知的增强型视觉SLAM系统。首先,使用深度学习网络对每一帧图像的动态物体进行初始检测,然后使用多视图几何方法更加精细地判断目标检测无法确定的动态物体区域。通过剔除属于动态物体上的特征跟踪点,提高系统的鲁棒性。本文方法在公共数据集TUM和KITTI上进行了测试,结果表明在动态场景中定位结果的准确度有了明显提升,尤其在高动态序列中相对于原始算法的精度提升在92%以上。与其他顾及动态场景的SLAM系统相比,本文方法在保持精度优势的同时,提高了运行结果的稳定性和时间效率。
文摘随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄目标场景时,相机位姿分布具有较大的随机性,难以保证获取到和训练数据集质量等同或接近的目标场景图像数据,从而影响恢复效果。为了缓解这一问题,该文提出了基于弱随机相机位姿图像的三维场景恢复方法,通过给用户提供目标场景拍摄建议,降低所获取目标场景图像相机位姿分布的随机性,提高场景的三维恢复效果。首先,用户在目标场景拍摄指导下,获得同一场景下不同视角的二维图像数据,然后通过SFM(Structure From Motion)恢复场景的三维稀疏点云和相机位姿,最后在MVS(Multi-View Stereo)网络模型中进行三维点云的稠密重建。实验结果表明,相比拍摄建议前,该方法有效降低了所获取目标场景图像相机位姿分布的随机性,三维场景恢复成功率提高了52.95%。
