360Roam：基于几何感知 360$^\circ$ 辐射场的实时室内漫游
计算机视觉与模式识别
2023-11-29 v2
摘要
稀疏 360 图像间的虚拟漫游被广泛使用，却阻碍了平滑且沉浸式的漫游体验。神经辐射场（NeRF）的出现展示了在新视角合成方面的显著进展，释放了沉浸式场景探索的潜力。然而，以往的 NeRF 工作主要关注以物体为中心的场景，由于场景参数化的局限，在应用于朝外拍摄的大规模场景时性能明显下降。为实现无缝且实时的室内漫游，我们提出了一种使用几何感知辐射场与自适应分配的局部辐射场的新型方法。首先，我们利用室内场景的多张 360 图像，从全局全向辐射场中逐步以概率占据图的形式重建显式几何。随后，基于恢复出的几何，我们通过自适应分治策略分配局部辐射场。通过结合几何感知采样与全局辐射场的分解，我们的系统有效利用位置编码与紧凑神经网络来提升渲染质量与速度。此外，提取的场景平面图有助于提供视觉引导，促成真实的漫游体验。为证明我们系统的有效性，我们整理了一个涵盖多种真实场景的 360 图像多样数据集，并在其上进行了大量实验。与基线方法的定量与定性比较表明了我们的系统在大规模室内场景漫游中的优越性能。
引用
@article{arxiv.2208.02705,
title = {360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields},
author = {Huajian Huang and Yingshu Chen and Tianjia Zhang and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2208.02705},
year = {2023}
}