基于射线距离的神经场景重建体积渲染
计算机视觉与模式识别
2024-08-29 v1
摘要
现有的神经场景重建方法利用符号距离函数（SDF）来建模密度函数。然而，在室内场景中，基于SDF计算的 sampled 点的密度可能不能准确反映其在体积渲染中的实际重要性，常常受到相邻物体的影响。为解决此问题，本工作提出了一种用于室内场景重建的新方法，该方法改为使用符号射线距离函数（SRDF）来参数化密度函数。首先，SRDF由网络预测并转换为用于体积渲染的射线条件密度函数。我们认为，仅考虑相机射线沿方向表面的ray-specific SRDF所导出的密度函数比基于SDF的密度函数更能反映实际占据情况。其次，尽管SRDF和SDF代表场景几何的不同方面，但它们的值应具有相同的符号，表示 underlying 空间占据。因此，本 work引入了SRDF-SDF一致性损失，以约束SRDF和SDF输出的符号。此外，本 work提出了一种自监督的可见性任务，引入物理可见性几何到重建任务中。可见性任务将来自预测SRDF和SDF的先验作为伪标签，促进更准确的3D几何生成。我们的方法在不同表示下在室内数据集上实现了改进的重建和视图合成性能。
引用
@article{arxiv.2408.15524,
title = {Ray-Distance Volume Rendering for Neural Scene Reconstruction},
author = {Ruihong Yin and Yunlu Chen and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:2408.15524},
year = {2024}
}
备注
Accepted by ECCV2024