基于YOLO v3和传感器融合的机器人定位建图系统 被引量：5

1

作者 陈文峰 张学习 +1 位作者 蔡述庭 熊晓明 《自动化与信息工程》 2021年第2期34-38,48,共6页

场景中的动态物体影响移动机器人定位算法的精度,使机器人无法建立蕴含场景信息的高精度地图,降低定位建图系统在复杂场景中的鲁棒性。针对目前主流动态SLAM技术受限于系统需求和硬件性能,无法兼顾移动机器人定位精度和系统实时性的问题... 场景中的动态物体影响移动机器人定位算法的精度,使机器人无法建立蕴含场景信息的高精度地图,降低定位建图系统在复杂场景中的鲁棒性。针对目前主流动态SLAM技术受限于系统需求和硬件性能,无法兼顾移动机器人定位精度和系统实时性的问题,提出一种基于YOLO v3和传感器融合的机器人定位建图系统。首先,建立融合编码器和视觉传感器的机器人运动模型,求解移动机器人位姿;然后,利用深度学习技术剔除复杂场景中的动态物体,并针对YOLO v3目标检测网络特点,采用多视图几何方法进行性能优化;最后,经测试,本系统相比DS_SLAM具有更优的轨迹精度,耗时更短。 展开更多

关键词 传感器融合 目标检测 动态物体 定位 多视图几何

下载PDF 职称材料

利用CCD摄像机求解飞行器运动参数

2

作者 季健 昂海松 《传感器技术》 CSCD 北大核心 2005年第5期39-42,共4页

针对飞行器的视觉导航应用,提出了利用CCD摄像机来估算飞行器运动参数的实时方案。在利用CCD摄像机所拍摄的序列图像中,首先,自动提取出第1帧图像中比较明显的特征点,并在后续的图像中对所提取的特征点进行追踪。然后,利用多视图几何技... 针对飞行器的视觉导航应用,提出了利用CCD摄像机来估算飞行器运动参数的实时方案。在利用CCD摄像机所拍摄的序列图像中,首先,自动提取出第1帧图像中比较明显的特征点,并在后续的图像中对所提取的特征点进行追踪。然后,利用多视图几何技术来标定摄像机的外参数。所标定的摄像机的外参数经过转换就可以获得飞行器的运动参数。通过对实际拍摄的图像进行计算,反投影误差的最大值为0.03911,而处理26帧图像需要的时间为0.9194s,说明本方案在计算精度和实时性上是可行的。 展开更多

关键词 视觉导航 CCD摄像机 多视图几何 外参数标定

下载PDF 职称材料

基于摄像机几何模型的视间预测方法

3

作者 朱刚 梅顺良 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2009年第8期1156-1159,共4页

多视视频编码是实现自由视角电视和三维立体电视等应用的关键技术。为了有效地提高视间预测的效率,该文基于摄像机几何模型,提出了一种新的视间预测算法,其特点是利用摄像机参数和深度信息对视差矢量进行预测,并运用亮度补偿工具和亚像... 多视视频编码是实现自由视角电视和三维立体电视等应用的关键技术。为了有效地提高视间预测的效率,该文基于摄像机几何模型,提出了一种新的视间预测算法,其特点是利用摄像机参数和深度信息对视差矢量进行预测,并运用亮度补偿工具和亚像素插值技术减少视差补偿误差。将新的算法集成到目前最新的多视视频编码框架H.264/AVCM VC中后,实验结果表明,新的算法最高能节省32.82%的码率,编码增益最高可达2.067 dB。 展开更多

关键词 多视视频编码 自由视角电视 摄像机几何 JMVM

原文传递

基于单目视觉的同时定位与地图构建方法综述 被引量：160

4

作者 刘浩敏 章国锋 鲍虎军 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2016年第6期855-868,共14页

增强现实是一种在现实场景中无缝地融入虚拟物体或信息的技术,能够比传统的文字、图像和视频等方式更高效、直观地呈现信息,有着非常广泛的应用.同时定位与地图构建作为增强现实的关键基础技术,可以用来在未知环境中定位自身方位并同时... 增强现实是一种在现实场景中无缝地融入虚拟物体或信息的技术,能够比传统的文字、图像和视频等方式更高效、直观地呈现信息,有着非常广泛的应用.同时定位与地图构建作为增强现实的关键基础技术,可以用来在未知环境中定位自身方位并同时构建环境三维地图,从而保证叠加的虚拟物体与现实场景在几何上的一致性.文中首先简述基于视觉的同时定位与地图构建的基本原理;然后介绍几个代表性的基于单目视觉的同时定位与地图构建方法并做深入分析和比较;最后讨论近年来研究热点和发展趋势,并做总结和展望. 展开更多

关键词 增强现实 同时定位与地图构建 运动推断结构 多视图几何 摄像机跟踪

下载PDF 职称材料

增强现实环境下的人手自然交互 被引量：15

5

作者 孙超 张明敏 +2 位作者 李扬 汤兴 潘志庚 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2011年第4期697-704,共8页

为了实现增强现实环境下的自然人手3D交互,提出一套针对不佩戴任何标记的人手的3D交互算法.该算法经过区域检测跟踪、特征点提取和3D稀疏结构重建等步骤获取人手的3D结构;在此基础上提出基于指尖、指向和手掌平面的人手3D交互模式;将从... 为了实现增强现实环境下的自然人手3D交互,提出一套针对不佩戴任何标记的人手的3D交互算法.该算法经过区域检测跟踪、特征点提取和3D稀疏结构重建等步骤获取人手的3D结构;在此基础上提出基于指尖、指向和手掌平面的人手3D交互模式;将从真实世界提取的3D交互信息对齐到虚拟世界,融合渲染并触发交互,实现自然人手3D交互.实验结果表明,该算法具有较高的沉浸感、精确度和易用性. 展开更多

关键词 增强现实 三维交互 特征提取 多视几何

下载PDF 职称材料

多视角沙姆成像的高精度结构光三维测量方法 被引量：3

6

作者 刘勇 张国锋 +2 位作者 胡鹏宇 邓惠文 杨树明 《仪器仪表学报》 EI CAS CSCD 北大核心 2023年第3期33-40,共8页

传统结构光测量方法在测量高反射率和复杂结构表面存在诸多挑战,且测量精度受到测量视场的限制。本文提出了一种基于结构光投影和多视角沙姆成像的高精度标定及三维测量方法,充分利用系统的景深范围。提出结构光多目视觉测量模型,将投... 传统结构光测量方法在测量高反射率和复杂结构表面存在诸多挑战,且测量精度受到测量视场的限制。本文提出了一种基于结构光投影和多视角沙姆成像的高精度标定及三维测量方法,充分利用系统的景深范围。提出结构光多目视觉测量模型,将投影仪坐标系作为系统测量坐标系,通过建立“三维点-投影图像点-4个相机图像点”的对应关系对系统进行一体化标定,然后利用多视图几何成像约束,通过计算最小二乘解融合多个视角的观测信息,提高三维数据的计算精度。实验结果表明,所提方法和系统可以对高反射率和遮挡表面进行准确测量,测量精度达到5μm,大大优于传统结构光测量方法。 展开更多

关键词 多视图几何 沙姆成像 相移条纹投影 三维测量 系统标定

下载PDF 职称材料

具有远近视距的两目视觉系统标定技术研究 被引量：7

7

作者 石世锋 叶南 张丽艳 《光学学报》 EI CAS CSCD 北大核心 2021年第24期181-192,共12页

工业机械臂在多工位作业时通常需要具有远近视距的双目视觉系统,用于全局目标定位和局域精确测量。由于具有远近视距的两目相机缺乏公共视场,无法由传统双目立体视觉标定内外参数,提出了一种基于点阵编码元和多视图几何的标定技术。首... 工业机械臂在多工位作业时通常需要具有远近视距的双目视觉系统,用于全局目标定位和局域精确测量。由于具有远近视距的两目相机缺乏公共视场,无法由传统双目立体视觉标定内外参数,提出了一种基于点阵编码元和多视图几何的标定技术。首先为具有远近视距的两目系统制作与之视场大小匹配的两种尺寸的点阵编码元标定板,提出了一种基于灰度梯度的亚像素边缘定位方法以提高椭圆中心定位精度,并改进了点阵编码元的解码算法用于图像特征的稳健匹配。再利用不同视角下编码元的高精度中心像素坐标和图像间编码元的对应关系,通过多视图几何解算出两目相机的内参数和相对各自标定板的转换矩阵。然后由转换矩阵构造AX=ZB手眼标定方程形式,求解方程式中的X即可得到两目相机间的外参数。最后分析了两类优化方法对标定误差的抑制情况。实验结果表明,经优化后标定精度得到提高,角度误差为0.05°,位置误差为0.36 mm。 展开更多

关键词 机器视觉 内外参标定 多视图几何 亚像素边缘 编码元 手眼标定方程式

原文传递

无编码点的工业摄影测量技术的研究及实现 被引量：7

8

作者 严俊 叶南 +1 位作者 李廷成 祝鸿宇 《光学学报》 EI CAS CSCD 北大核心 2019年第10期219-228,共10页

现有的工业摄影测量系统通常需要在被测物表面布设一定数量的编码点,但是许多工业产品表面并不具备布设编码点的条件。为此,提出一种无需布设编码点的工业摄影测量的实现方法。该方法只需利用一台向被测物投射散斑纹理的投射装置、一把... 现有的工业摄影测量系统通常需要在被测物表面布设一定数量的编码点,但是许多工业产品表面并不具备布设编码点的条件。为此,提出一种无需布设编码点的工业摄影测量的实现方法。该方法只需利用一台向被测物投射散斑纹理的投射装置、一把恢复尺度的标尺,以及一台能对被测物体多角度拍摄的相机。为了完成高精度的多视图几何框架的求解,采用一种"由粗到精"的两步重建策略,并提出一种带旋转补偿的数字图像相关(RFDIC)方法来解决大旋转角度图像间的高精度匹配问题。实验结果表明,RFDIC方法对标尺长度测量的误差小于0.01 mm/m,与最新商用的三维测量系统点云重建算法相比,二者的误差约为0.055 mm,满足工业摄影测量的精度要求。 展开更多

关键词 机器视觉 无编码点摄影测量 投影散斑 数字图像相关 多视图几何

原文传递

无人机倾斜摄影铁路轨道线高精度自动重建 被引量：6

9

作者 王广帅 《测绘通报》 CSCD 北大核心 2022年第5期133-139,156,共8页

针对既有铁路测绘上线难、作业效率低及测量精度不足的问题,本文提出了一种基于无人机多视图几何原理的铁路轨道线高精度重建方法。首先从无人机影像上提取线特征;然后采用像方测度获得候选匹配线,基于物方距离测度进行Powell优化,获得... 针对既有铁路测绘上线难、作业效率低及测量精度不足的问题,本文提出了一种基于无人机多视图几何原理的铁路轨道线高精度重建方法。首先从无人机影像上提取线特征;然后采用像方测度获得候选匹配线,基于物方距离测度进行Powell优化,获得精确的钢轨线匹配结果;最后,将影像钢轨线匹配结果作为观测值,以钢轨线反投影距离作为测度,最小二乘优化物方钢轨直线段坐标。试验结果表明,本文方法实现了影像轨道线自动匹配与高精度平差解算,像方反投影残差优于0.5像素,轨距和高程的内符合精度分别为0.006和0.005 m。解算成果的平面高程绝对定位精度可达到2 cm左右,平差模型收敛性良好,可以满足工程应用的需要。 展开更多

关键词 无人机 多视图几何 线特征 最小二乘优化 既有铁路

下载PDF 职称材料

基于体积渲染和几何一致性的多视图三维重建 被引量：2

10

作者 李森涛 万旺根 +1 位作者 王旭智 孙学涛 《工业控制计算机》 2023年第10期98-100,共3页

从多张输入的图片中预测物体的三维信息是计算机视觉中最基本的任务之一。提出了一种采用体积渲染和几何一致性的多视图三维重建算法。传统的方向需要先生成深度图或者点云来得到曲面网格模型,这中间不可避免地会引入累计误差。方法将... 从多张输入的图片中预测物体的三维信息是计算机视觉中最基本的任务之一。提出了一种采用体积渲染和几何一致性的多视图三维重建算法。传统的方向需要先生成深度图或者点云来得到曲面网格模型,这中间不可避免地会引入累计误差。方法将三维物体表示为隐式神经曲面,并用体积渲染来优化。同时,使用基于学习的符号距离函数(SDF)来更好地预测表面形状。为了提高算法的重建精度,在曲面重建中添加了明确的几何约束。使用DTU数据集对算法进行验证,实验结果表明,算法的重建精度高于其他基于深度学习的方法。 展开更多

关键词 多视图 三维重建 体积渲染 SDF 几何一致性

下载PDF 职称材料

基于多视图融合的3D人体姿态估计 被引量：2

11

作者 胡士卓 周斌 胡波 《中南民族大学学报（自然科学版）》 CAS 北大核心 2023年第1期103-110,共8页

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之... 针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D(正确估计关节位置的百分比)分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE(关节位置误差的平均值)为16.80 mm,实验结果优于VoxelPose. 展开更多

关键词 三维人体姿态估计 热图 多视图融合 对极几何

下载PDF 职称材料

基于多视图几何的无人机单目视觉定位初始化

12

作者 鹿珂珂 王雅平 +1 位作者 王超 吴俊峰 《火力与指挥控制》 CSCD 北大核心 2024年第1期80-86,共7页

无人机载单目视觉定位的初始化性能将决定整个无人机视觉导航过程的准确度,针对视觉定位初始化过程中耗时长和初始位姿不准确等问题,提出一种基于多视图几何基本原理,组合运用滑动窗口、三角约束、多点透视成像和光束平差法,实现无人机... 无人机载单目视觉定位的初始化性能将决定整个无人机视觉导航过程的准确度,针对视觉定位初始化过程中耗时长和初始位姿不准确等问题,提出一种基于多视图几何基本原理,组合运用滑动窗口、三角约束、多点透视成像和光束平差法,实现无人机视觉定位的快速准确初始化方法,通过在数据集上进行验证,该方法相比经典的算法在时间和初始化精度上取得了更为优异的效果。 展开更多

关键词 无人机 多视图几何 视觉 定位 初始化

下载PDF 职称材料

基于YOLACT网络的移动机器人视觉SLAM算法

13

作者 桂昊 张庆永 袁一卿 《福建理工大学学报》 CAS 2024年第1期65-73,共9页

提出一种室内动态场景的视觉SLAM算法,引入实例分割网络YOLACT,剔除大部分动态点,利用多视图几何进一步过滤分割掩膜外未被剔除的动态特征点,使用剩余的静态特征点作为相机位姿估计;同时构建点云地图,转换并建立八叉树地图;使用背景修... 提出一种室内动态场景的视觉SLAM算法,引入实例分割网络YOLACT,剔除大部分动态点,利用多视图几何进一步过滤分割掩膜外未被剔除的动态特征点,使用剩余的静态特征点作为相机位姿估计;同时构建点云地图,转换并建立八叉树地图;使用背景修复以恢复被剔除动态物体后的背景。为验证算法的有效性,使用TUM数据集测试,并与ORB-SLAM2算法和其他处理动态场景的SLAM算法对比,结果表明,提出的算法在高动态数据集上表现良好。相较于ORB-SLAM2算法,提出的算法在室内动态场景中的定位精度提升93.06%,可应用于后期机器人定位导航使用。 展开更多

关键词 实例分割网络 SLAM 多视图几何 动态场景 静态稠密地图

下载PDF 职称材料

一种特征点权重自适应优化的动态SLAM算法

14

作者 张岩 王红旗 +2 位作者 刘群坡 卜旭辉 赵怡佳 《导航定位学报》 CSCD 北大核心 2024年第3期165-175,共11页

针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,... 针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,在此基础上对静态特征点进行帧间匹配得到位姿变换初值;然后利用运动一致性检测算法和多视图几何算法处理图像并分别得到对应的动态特征点掩码,进而依据得到的3种动态特征点掩码信息构建特征点权重函数,利用最小化重投影误差自适应调整特征点对位姿优化的影响程度,降低场景中的动态目标对SLAM精度的影响;最后使用慕尼黑工业大学动态数据集进行仿真测试,在室内高动态场景中,绝对轨迹误差(ATE)的均方根误差值(RMSE)仅为尺度不变特征变换同步定位与地图构建(ORB-SLAM2)的3.1%。与DS-SLAM、DynaSLAM等动态SLAM系统相比,绝对轨迹误差分别为DS-SLAM的52%、DynaSLAM的86.1%。结果表明,该算法可以显著提高SLAM系统在高动态环境下的定位精度和鲁棒性。 展开更多

关键词 视觉SLAM 动态场景 语义分割 运动一致性检测 多视图几何 特征点权重

下载PDF 职称材料

一种改进的视图几何基本矩阵估计法

15

作者 夏子山 王韦刚 吴豪 《计算机与数字工程》 2024年第1期233-239,共7页

多视图几何中的基本矩阵估计需要利用准确的对应点,但是图像噪声或光线变化会产生错误匹配,进而严重影响基本矩阵估计的准确度。为提高基本矩阵估计的准确性,文章提出了一种基于对极约束梯度的迭代方法去估计基本矩阵。该方法能在最少... 多视图几何中的基本矩阵估计需要利用准确的对应点,但是图像噪声或光线变化会产生错误匹配,进而严重影响基本矩阵估计的准确度。为提高基本矩阵估计的准确性,文章提出了一种基于对极约束梯度的迭代方法去估计基本矩阵。该方法能在最少的迭代次数下迅速剔除两视图匹配过程中的错误匹配点。然后再加入对应点相关性的约束,可以得到最佳对应点集合用于估计基本矩阵。通过在各类不同场景的图像上实验分析可以发现,该方法相比于其他方法估计基本矩阵误差至少降低20%。 展开更多

关键词 基本矩阵估计 多视图几何 对极约束 计算机视觉

下载PDF 职称材料

融合光流与多视角几何的动态视觉SLAM系统

16

作者 周秦源 邓越平 +3 位作者 张磊 张陈 卢日荣 胡贤哲 《计算机工程》 CAS CSCD 北大核心 2024年第5期250-259,共10页

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几... 视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。 展开更多

关键词 同步定位与地图构建 光流 多视角几何 动态场景 运动物体检测 实例分割 点云分割

下载PDF 职称材料

动态场景下基于RGB-D相机的移动机器人定位算法研究 被引量：1

17

作者 丛佩超 崔利营 +3 位作者 万现全 刘俊杰 肖宜轩 李佳星 《广西科技大学学报》 CAS 2023年第4期92-100,共9页

针对移动机器人在室内动态场景下视觉导航过程中定位精度低的问题,提出一种新的动态场景下视觉定位算法。该算法基于ORB-SLAM2算法框架,首先,通过RGB-D相机获取图像数据,再利用Mask R-CNN神经网络与多视图几何技术进行数据处理,实现运... 针对移动机器人在室内动态场景下视觉导航过程中定位精度低的问题,提出一种新的动态场景下视觉定位算法。该算法基于ORB-SLAM2算法框架,首先,通过RGB-D相机获取图像数据,再利用Mask R-CNN神经网络与多视图几何技术进行数据处理,实现运动目标检测;其次,将运动物体区域的动态特征点滤除,保留其静态特征点,完成相机的位姿跟踪,从而降低动态物体对机器人定位的影响;最后,通过TUM数据集下的fr3_w_xyz序列完成试验验证。试验结果表明:相较ORB-SLAM2、DynaSLAM算法,本文算法在高动态场景下的运行轨迹更优,且绝对位姿的平均误差分别降低78.70%、17.13%,标准差分别降低76.87%、30.07%,验证了该算法在室内动态场景下可实现精准定位,且具有较好的鲁棒性与准确性,可为移动机器人在室内自主导航提供理论基础。 展开更多

关键词 移动机器人 动态场景 Mask R-CNN 多视图几何 精准定位

下载PDF 职称材料

结合改进密集模块深度估计网络和多视几何的视觉里程计 被引量：1

18

作者 彭道刚 欧阳海林 +1 位作者 戚尔江 王丹豪 《控制与决策》 EI CSCD 北大核心 2023年第4期980-988,共9页

以多视图几何原理为基础,有效结合卷积神经网络进行图像深度估计和匹配筛选,构造无监督单目视觉里程计方法.针对主流深度估计网络易丢失图像浅层特征的问题,构造一种基于改进密集模块的深度估计网络,有效地聚合浅层特征,提升图像深度估... 以多视图几何原理为基础,有效结合卷积神经网络进行图像深度估计和匹配筛选,构造无监督单目视觉里程计方法.针对主流深度估计网络易丢失图像浅层特征的问题,构造一种基于改进密集模块的深度估计网络,有效地聚合浅层特征,提升图像深度估计精度.里程计利用深度估计网络精确预测单目图像深度,利用光流网络获得双向光流,通过前后光流一致性原则筛选高质量匹配.利用多视图几何原理和优化方式求解获得初始位姿和计算深度,并通过特定的尺度对齐原则得到全局尺度一致的6自由度位姿.同时,为了提高网络对场景细节和弱纹理区域的学习能力,将基于特征图合成的特征度量损失结合到网络损失函数中.在KITTI Odometry数据集上进行实验验证,不同阈值下的深度估计取得了85.9%、95.8%、97.2%的准确率.在09和10序列上进行里程计评估,绝对轨迹误差在0.007 m.实验结果验证了所提出方法的有效性和准确性,表明其在深度估计和视觉里程计任务上的性能优于现有方法. 展开更多

关键词 无监督深度学习 视觉里程计 深度估计 光流估计 多视图几何 密集模块

原文传递

基于边缘辅助极线Transformer的多视角场景重建 被引量：1

19

作者 童伟 张苗苗 +2 位作者 李东方 吴奇 宋爱国 《电子与信息学报》 EI CSCD 北大核心 2023年第10期3483-3491,共9页

基于深度学习的多视角立体几何(MVS)旨在通过多个视图重建出稠密的3维场景。然而现有的方法通常设计复杂的2D网络模块来学习代价体聚合的跨视角可见性,忽略了跨视角2维上下文特征在3D深度方向的一致性假设。此外,基于多阶段的深度推断... 基于深度学习的多视角立体几何(MVS)旨在通过多个视图重建出稠密的3维场景。然而现有的方法通常设计复杂的2D网络模块来学习代价体聚合的跨视角可见性,忽略了跨视角2维上下文特征在3D深度方向的一致性假设。此外,基于多阶段的深度推断方法仍需要较高的深度采样率,并且在静态或预先设定的范围内采样深度值,容易在物体边界以及光照遮挡等区域产生错误的深度推断。为了缓解这些问题,该文提出一种基于边缘辅助极线Transformer的密集深度推断模型。与现有工作相比,具体改进如下:将深度回归转换为多深度值分类进行求解,在有限的深度采样率和GPU占用下保证了推断精度;设计一种极线Transformer模块提高跨视角代价体聚合的可靠性,并引入边缘检测分支约束边缘特征在极线方向的一致性;为了提高弱纹理区域的精度,设计了基于概率成本体积的动态深度范围采样机制。与主流的方法在公开的数据集上进行了综合对比,实验结果表明所提模型能够在有限的显存占用下重建出稠密准确的3D场景。特别地,相比于Cas-MVSNet,所提模型的显存占用降低了35%,深度采样率降低约50%,DTU数据集的综合误差从0.355降低至0.325。 展开更多

关键词 多视角场景重建 多视角立体几何 深度估计 极线几何 TRANSFORMER

下载PDF 职称材料

顾及动态物体感知的增强型视觉SLAM系统

20

作者 李佳 李明磊 +2 位作者 魏大洲 吴伯春 郭文骏 《南京航空航天大学学报》 CAS CSCD 北大核心 2023年第5期789-797,共9页

传统的同步定位与制图(Simultaneous localization and mapping,SLAM)系统在复杂环境下工作时,无法分辨环境中的物体是否存在运动状态,图像中运动的物体可能导致特征关联错误,引起定位的不准确和地图构建的偏差。为了提高SLAM系统在动... 传统的同步定位与制图(Simultaneous localization and mapping,SLAM)系统在复杂环境下工作时,无法分辨环境中的物体是否存在运动状态,图像中运动的物体可能导致特征关联错误,引起定位的不准确和地图构建的偏差。为了提高SLAM系统在动态环境下的鲁棒性和可靠性,本文提出了一种顾及动态物体感知的增强型视觉SLAM系统。首先,使用深度学习网络对每一帧图像的动态物体进行初始检测,然后使用多视图几何方法更加精细地判断目标检测无法确定的动态物体区域。通过剔除属于动态物体上的特征跟踪点,提高系统的鲁棒性。本文方法在公共数据集TUM和KITTI上进行了测试,结果表明在动态场景中定位结果的准确度有了明显提升,尤其在高动态序列中相对于原始算法的精度提升在92%以上。与其他顾及动态场景的SLAM系统相比,本文方法在保持精度优势的同时,提高了运行结果的稳定性和时间效率。 展开更多

关键词 同步定位与制图 动态环境 目标检测 多视图几何

下载PDF 职称材料