在轨服务与维护是未来航天技术的重要发展方向.在轨服务如燃料加注、剪切与操作电线、旋拧盖子和拆装阀门等任务,具有负载轻、近距离感知及精准定位和抓取等特点.针对这些应用场景,采用轻量化机械臂Kinova及自带彩色和深度(red,green,bl...在轨服务与维护是未来航天技术的重要发展方向.在轨服务如燃料加注、剪切与操作电线、旋拧盖子和拆装阀门等任务,具有负载轻、近距离感知及精准定位和抓取等特点.针对这些应用场景,采用轻量化机械臂Kinova及自带彩色和深度(red,green,blue and depth,RGBD)相机进行感知、定位和抓取,完成地面验证实验,为在轨服务提供理论支持.介绍了机械臂抓取系统的研究背景并描述开发平台及其特点,以及相机标定、彩色相机与深度相机配准原理.利用机器人操作系统(robot operating system,ROS)的坐标变换树得到彩色图像目标像素在世界坐标系的坐标位置.针对特定的抓取对象提出基于色调、饱和度和亮度(hue,saturation and value,HSV)颜色空间图像分割方法,进行目标检测、分割以及空间定位,实验环节机械臂根据视觉定位结果完成目标抓取过程,证明了颜色空间图像分割方法和深度图结合定位的有效性,为在轨服务提供了理论验证.展开更多
为了高效、高精度、低成本地实现对物体的全视角三维重建,提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法,即在原有...为了高效、高精度、低成本地实现对物体的全视角三维重建,提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法,即在原有的深度数据上加上额外的光照约束来优化深度值;在相邻两帧配准时,采用快速点特征直方图(Fast point feature histograms,FPFH)特征进行匹配并通过随机采样一致性(Random sample consensus,RANSAC)滤除错误的匹配点对求解粗配准矩阵,然后通过迭代最近点(Iterative closest point,ICP)算法进行精配准得出两帧间的配准矩阵;在进行全视角的三维重建时,采用光束平差法优化相机位姿,从而消除累积误差使首尾帧完全重合,最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。展开更多
文摘在轨服务与维护是未来航天技术的重要发展方向.在轨服务如燃料加注、剪切与操作电线、旋拧盖子和拆装阀门等任务,具有负载轻、近距离感知及精准定位和抓取等特点.针对这些应用场景,采用轻量化机械臂Kinova及自带彩色和深度(red,green,blue and depth,RGBD)相机进行感知、定位和抓取,完成地面验证实验,为在轨服务提供理论支持.介绍了机械臂抓取系统的研究背景并描述开发平台及其特点,以及相机标定、彩色相机与深度相机配准原理.利用机器人操作系统(robot operating system,ROS)的坐标变换树得到彩色图像目标像素在世界坐标系的坐标位置.针对特定的抓取对象提出基于色调、饱和度和亮度(hue,saturation and value,HSV)颜色空间图像分割方法,进行目标检测、分割以及空间定位,实验环节机械臂根据视觉定位结果完成目标抓取过程,证明了颜色空间图像分割方法和深度图结合定位的有效性,为在轨服务提供了理论验证.
文摘为了高效、高精度、低成本地实现对物体的全视角三维重建,提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法,即在原有的深度数据上加上额外的光照约束来优化深度值;在相邻两帧配准时,采用快速点特征直方图(Fast point feature histograms,FPFH)特征进行匹配并通过随机采样一致性(Random sample consensus,RANSAC)滤除错误的匹配点对求解粗配准矩阵,然后通过迭代最近点(Iterative closest point,ICP)算法进行精配准得出两帧间的配准矩阵;在进行全视角的三维重建时,采用光束平差法优化相机位姿,从而消除累积误差使首尾帧完全重合,最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。
