Strata-NeRF：面向分层场景的神经辐射场
计算机视觉与模式识别
2023-08-22 v1
摘要
神经辐射场（NeRF）方法学习场景潜在的 3D 表示，并高保真地生成照片级真实感新视角。然而，大多数已有设定集中于建模单个物体或场景的单一层级。但在真实世界中，我们可能在多个层级上捕获一个场景，从而形成分层捕获。例如，游客通常先拍摄纪念碑的外部结构，再拍摄内部结构。以无缝切换层级的方式对这类场景进行 3D 建模可极大提升沉浸体验。然而，大多数现有技术难以建模此类场景。我们提出 Strata-NeRF，一种单一神经辐射场，隐式捕获具有多个层级的场景。Strata-NeRF 通过将 NeRF 条件化于向量量化（VQ）隐表示来实现这一点，从而允许场景结构的突变。我们在包含多样场景的多层合成数据集上评估了方法的有效性，并进一步在真实世界 RealEstate10K 数据集上验证其泛化性。我们发现，与现有方法相比，Strata-NeRF 能有效捕获分层场景、最小化伪影并合成高保真视角。
引用
@article{arxiv.2308.10337,
title = {Strata-NeRF : Neural Radiance Fields for Stratified Scenes},
author = {Ankit Dhiman and Srinath R and Harsh Rangwani and Rishubh Parihar and Lokesh R Boregowda and Srinath Sridhar and R Venkatesh Babu},
journal= {arXiv preprint arXiv:2308.10337},
year = {2023}
}
备注
ICCV 2023, Project Page: https://ankitatiisc.github.io/Strata-NeRF/