PSDF：面向多视图重建的先验驱动神经隐式表面学习
计算机视觉与模式识别
2024-01-24 v1
摘要
表面重建传统上依赖于基于多视图立体（MVS）的流程，这常常受困于含噪且不完整的几何信息。这是因为，尽管 MVS 已被证明是恢复场景几何的有效方法，特别是对于具有丰富纹理的局部细节区域，但在光度一致性不可靠的低纹理和光照变化大的区域，它难以处理。最近，神经隐式表面重建（NISR）结合了表面绘制和体绘制技术，绕过了 MVS 作为中间步骤，已成为克服传统流程局限性的一种有前景的替代方案。尽管 NISR 在简单场景上展示了令人印象深刻的结果，但由于其优化欠约束，从不受控的真实场景中恢复精细几何仍具挑战性。为此，提出了 PSDF 框架，该框架诉诸于来自预训练 MVS 网络的外部几何先验和 NISR 模型固有的内部几何先验，以促进高质量的神经隐式表面学习。具体而言，引入了基于外部几何先验的感知可见性的特征一致性损失和深度先验辅助采样。这些提议提供了强大的几何一致性约束，并有助于定位表面交点，从而显著提高了 NISR 的准确性与精细重建。同时，提出了内部先验引导的重要性绘制，通过缓解 NISR 中的有偏绘制问题来增强重建表面网格的保真度。在 Tanks and Temples 数据集上的大量实验表明，PSDF 在复杂不受控场景上实现了最先进的性能。
引用
@article{arxiv.2401.12751,
title = {PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view Reconstruction},
author = {Wanjuan Su and Chen Zhang and Qingshan Xu and Wenbing Tao},
journal= {arXiv preprint arXiv:2401.12751},
year = {2024}
}