不确定性感知的深度多视角光度立体

本文针对长期存在的经典多视角光度立体(MVPS)问题，提出了一种简单而有效的解决方案。众所周知，光度立体(PS)擅长恢复高频表面细节，而多视角立体(MVS)可帮助消除 PS 引起的低频畸变并保留形状的全局几何。本文提出了一种能有效利用 PS 与 MVS 这种互补优势的方法。我们的核心思想是在考虑二者估计的逐像素不确定性的基础上对其进行恰当组合。为此，我们分别使用不确定性感知的深度 PS 网络和深度 MVS 网络估计逐像素表面法线与深度。不确定性建模有助于在每个像素上选择可靠的法线与深度估计，进而作为稠密表面几何的真实表征。在每个像素处，我们的方法依据预测不确定性度量选择或舍弃深度 PS 与深度 MVS 网络的预测。为实现物体表面轮廓的稠密、精细且精确的推断，我们提出通过多层感知机(MLP)学习隐式神经形状表示。我们的方法鼓励 MLP 利用来自深度 PS 与深度 MVS 网络的可靠预测收敛至自然的零水平集表面，从而提供优异的稠密表面重建。在 DiLiGenT-MV 基准数据集上的大量实验表明，我们的方法以低得多的内存占用提供了高质量形状恢复，同时优于几乎所有现有方法。