透过玻璃看：针对高镜面反射的神经网络表面重建
计算机视觉与模式识别
2023-04-19 v1
摘要
神经隐式方法已在轻微镜面高光下实现了高质量的3D物体表面重建。然而，当我们透过玻璃捕获目标物体时，高镜面反射（HSR）常出现在目标物体前方。这些场景中的复杂歧义违背了多视图一致性，使得近期方法难以正确重建目标物体。为补救此问题，我们提出一种基于隐式神经渲染的新颖表面重建框架NeuS-HSR。在NeuS-HSR中，物体表面被参数化为隐式有符号距离函数（SDF）。为减少HSR的干扰，我们提出将渲染图像分解为两种外观：目标物体与辅助平面。我们通过结合物理假设与神经网络设计了一种新颖的辅助平面模块以生成辅助平面外观。在合成与真实世界数据集上的大量实验表明，NeuS-HSR在对抗HSR的准确且鲁棒的目标表面重建上优于最先进的方法。代码见 https://github.com/JiaxiongQ/NeuS-HSR。
引用
@article{arxiv.2304.08706,
title = {Looking Through the Glass: Neural Surface Reconstruction Against High Specular Reflections},
author = {Jiaxiong Qiu and Peng-Tao Jiang and Yifan Zhu and Ze-Xin Yin and Ming-Ming Cheng and Bo Ren},
journal= {arXiv preprint arXiv:2304.08706},
year = {2023}
}
备注
17 pages, 20 figures