一种基于置信度的深度多视图立体深度与表面法线迭代求解器

本文介绍一种深度多视图立体（MVS）系统，其联合预测深度、表面法线以及逐视图置信度图。我们方法的关键在于一种新颖的求解器，该求解器基于局部平面假设优化能量势，迭代求解逐视图深度图与法线图。具体而言，算法通过从具有倾斜平面的邻域像素传播来更新深度图，并通过局部概率平面拟合更新法线图。这两步均由定制的置信度图监控。该求解器不仅可作为基于平面的深度细化与补全的后处理工具，而且是可微的，从而能高效集成到深度学习流水线中。我们的多视图立体系统在深度与表面法线的初始预测上执行求解器的多步优化。整个系统可端到端训练，将纹理匮乏区域中像素匹配的难题与基于代价体积的神经网路解耦。在 ScanNet 与 RGB-D Scenes V2 上的实验结果表明，所提深度 MVS 系统在多视图深度估计上达到了最先进的性能，且我们所提求解器在基于传统与深度学习的 MVS 流水线上均能持续提升深度质量。代码见 https://github.com/thuzhaowang/idn-solver。