多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取...多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。展开更多
文摘多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。
