目的受遮挡与累积误差因素的影响,现有目标6维(6 dimensions,6D)姿态实时追踪方法在复杂场景中表现不佳。为此,提出了一种高鲁棒性的刚体目标6D姿态实时追踪网络。方法在网络的整体设计上,将当前帧彩色图像和深度图像(red green blue-de...目的受遮挡与累积误差因素的影响,现有目标6维(6 dimensions,6D)姿态实时追踪方法在复杂场景中表现不佳。为此,提出了一种高鲁棒性的刚体目标6D姿态实时追踪网络。方法在网络的整体设计上,将当前帧彩色图像和深度图像(red green blue-depth map,RGB-D)与前一帧姿态估计结果经升维残差采样滤波和特征编码处理获得姿态差异,与前一帧姿态估计结果共同计算目标当前的6D姿态;在残差采样滤波模块的设计中,采用自门控swish(searching for activation functions)激活函数保留目标细节特征,提高目标姿态追踪的准确性;在特征聚合模块的设计中,将提取的特征分解为水平与垂直两个方向分量,分别从时间和空间上捕获长程依赖并保留位置信息,生成一组具有位置与时间感知的互补特征图,加强目标特征提取能力,从而加速网络收敛。结果实验选用YCBVideo(Yale-CMU-Berkeley-video)和YCBInEoAT(Yale-CMU-Berkeley in end-of-arm-tooling)数据集。实验结果表明,本文方法追踪速度达到90.9 Hz,追踪精度模型点平均距离(average distance of model points,ADD)和最近点的平均距离(average closest point distance,ADD-S)分别达到93.24及95.84,均高于同类相关方法。本文方法的追踪精度指标ADD和ADD-S在追踪精度和追踪速度上均领先于目前其他的刚体姿态追踪方法,与se(3)-TrackNet网络相比,本文方法在6000组少量合成数据训练的条件下分别高出25.95和30.91,在8000组少量合成数据训练的条件下分别高出31.72和28.75,在10000组少量合成数据训练的条件下分别高出35.57和21.07,且在严重遮挡场景下能够实现对目标的高鲁棒6D姿态追踪。结论本文网络在合成数据驱动条件下,可以更好地完成实时准确追踪目标6D姿态,网络收敛速度快,实验结果验证了本文方法的有效性。展开更多
文摘目的受遮挡与累积误差因素的影响,现有目标6维(6 dimensions,6D)姿态实时追踪方法在复杂场景中表现不佳。为此,提出了一种高鲁棒性的刚体目标6D姿态实时追踪网络。方法在网络的整体设计上,将当前帧彩色图像和深度图像(red green blue-depth map,RGB-D)与前一帧姿态估计结果经升维残差采样滤波和特征编码处理获得姿态差异,与前一帧姿态估计结果共同计算目标当前的6D姿态;在残差采样滤波模块的设计中,采用自门控swish(searching for activation functions)激活函数保留目标细节特征,提高目标姿态追踪的准确性;在特征聚合模块的设计中,将提取的特征分解为水平与垂直两个方向分量,分别从时间和空间上捕获长程依赖并保留位置信息,生成一组具有位置与时间感知的互补特征图,加强目标特征提取能力,从而加速网络收敛。结果实验选用YCBVideo(Yale-CMU-Berkeley-video)和YCBInEoAT(Yale-CMU-Berkeley in end-of-arm-tooling)数据集。实验结果表明,本文方法追踪速度达到90.9 Hz,追踪精度模型点平均距离(average distance of model points,ADD)和最近点的平均距离(average closest point distance,ADD-S)分别达到93.24及95.84,均高于同类相关方法。本文方法的追踪精度指标ADD和ADD-S在追踪精度和追踪速度上均领先于目前其他的刚体姿态追踪方法,与se(3)-TrackNet网络相比,本文方法在6000组少量合成数据训练的条件下分别高出25.95和30.91,在8000组少量合成数据训练的条件下分别高出31.72和28.75,在10000组少量合成数据训练的条件下分别高出35.57和21.07,且在严重遮挡场景下能够实现对目标的高鲁棒6D姿态追踪。结论本文网络在合成数据驱动条件下,可以更好地完成实时准确追踪目标6D姿态,网络收敛速度快,实验结果验证了本文方法的有效性。
