UniSDF：统一神经表示以实现含反射复杂场景的高保真三维重建
计算机视觉与模式识别
2024-12-11 v2
摘要
神经三维场景表示已展现出从二维图像进行三维重建的巨大潜力。然而，重建真实世界捕获的复杂场景仍然是一个挑战。现有的通用三维重建方法通常难以表示精细的几何细节，且未能充分建模大规模场景的反射表面。明确针对反射表面的技术可以通过利用更好的反射参数化来建模复杂且详细的反射。然而，我们观察到，在同时存在非反射和反射组件的真实场景中，这些方法通常不够鲁棒。在这项工作中，我们提出了 UniSDF，一种通用的三维重建方法，能够重建带有反射的大型复杂场景。我们研究了基于相机视图和基于反射视图的颜色参数化技术，并发现在三维空间中显式融合这些表示能够实现几何上更精确的表面重建，特别是对于反射表面。我们进一步将该表示与以由粗到细方式训练的多分辨率网格骨干相结合，从而实现比以往方法更快的重建。在物体级数据集 DTU、Shiny Blender 以及无界数据集 Mip-NeRF 360 和 Ref-NeRF real 上的大量实验表明，我们的方法能够鲁棒地重建具有精细细节和反射表面的复杂大规模场景，取得了最佳的整体性能。项目页面：\url{https://fangjinhuawang.github.io/UniSDF}。
引用
@article{arxiv.2312.13285,
title = {UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections},
author = {Fangjinhua Wang and Marie-Julie Rakotosaona and Michael Niemeyer and Richard Szeliski and Marc Pollefeys and Federico Tombari},
journal= {arXiv preprint arXiv:2312.13285},
year = {2024}
}
备注
NeurIPS 2024 camera ready