针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边...针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边缘伪影,克服运动遮挡区域的图像边缘模糊问题.然后,采用特征图变形策略构建基于特征变形的光流残差补偿模块,利用该模块学习到的残差光流细化原始光流场,改善大位移运动区域的光流计算效果.最后,采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型,提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel(Max-Planck Institute and Sintel)和KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析,实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.展开更多
文摘针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边缘伪影,克服运动遮挡区域的图像边缘模糊问题.然后,采用特征图变形策略构建基于特征变形的光流残差补偿模块,利用该模块学习到的残差光流细化原始光流场,改善大位移运动区域的光流计算效果.最后,采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型,提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel(Max-Planck Institute and Sintel)和KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析,实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.
