Fast-MVSNet:具有学习传播与高斯-牛顿精化的稀疏到稠密多视图立体
计算机视觉与模式识别
2020-03-31 v1
摘要
几乎所有先前基于深度学习的多视图立体(MVS)方法都聚焦于提升重建质量。除质量外,效率也是真实场景中MVS所期望的特性。为此,本文提出一种新颖的稀疏到稠密由粗到细框架Fast-MVSNet,用于MVS中快速而准确的深度估计。具体而言,在我们的Fast-MVSNet中,我们首先构建稀疏代价体以学习一张稀疏的高分辨率深度图。然后我们利用小规模卷积神经网络编码局部区域内像素的深度依赖关系,以稠化该稀疏高分辨率深度图。最后,提出一个简单而高效的高斯-牛顿层来进一步优化深度图。一方面,高分辨率深度图、数据自适应传播方法和高斯-牛顿层共同保证了方法的有效性。另一方面,Fast-MVSNet中所有模块均为轻量级的,从而保证了方法的效率。此外,由于稀疏深度表示,我们的方法也内存友好。大量实验结果表明,在具有挑战性的Tanks and Temples数据集以及DTU数据集上,我们的方法分别比Point-MVSNet和R-MVSNet快5和14,同时取得可比甚至更好的结果。代码见https://github.com/svip-lab/FastMVSNet。
引用
@article{arxiv.2003.13017,
title = {Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation and Gauss-Newton Refinement},
author = {Zehao Yu and Shenghua Gao},
journal= {arXiv preprint arXiv:2003.13017},
year = {2020}
}
备注
Accepted by CVPR2020