针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策...针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式,将深度估计视为多标签分类任务,对正则化概率体执行交叉熵损失以约束代价体,从而避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导,在进行置信度检查后采用卷积空间传播网络,通过构建亲和矩阵来细化最终的深度图。同时,为解决大多数方法存在的对不满足多视图一致性的不可靠区域重建质量较低的问题,进一步结合注意力机制设计具有样本自适应能力的动态特征提取网络,用于增强模型的局部感知能力。实验结果表明,在DTU数据集上,SP-MVSNet的重建完整性相比于CVP-MVSNet提升32.8%,整体质量提升11.4%。在Tanks and Temples基准和Blended MVS数据集上,SP-MVSNet的表现也优于大多数已知方法,取得了良好的三维重建效果。展开更多
文摘针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式,将深度估计视为多标签分类任务,对正则化概率体执行交叉熵损失以约束代价体,从而避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导,在进行置信度检查后采用卷积空间传播网络,通过构建亲和矩阵来细化最终的深度图。同时,为解决大多数方法存在的对不满足多视图一致性的不可靠区域重建质量较低的问题,进一步结合注意力机制设计具有样本自适应能力的动态特征提取网络,用于增强模型的局部感知能力。实验结果表明,在DTU数据集上,SP-MVSNet的重建完整性相比于CVP-MVSNet提升32.8%,整体质量提升11.4%。在Tanks and Temples基准和Blended MVS数据集上,SP-MVSNet的表现也优于大多数已知方法,取得了良好的三维重建效果。
