BungeeNeRF：面向极端多尺度场景渲染的渐进式神经辐射场
计算机视觉与模式识别
2023-05-10 v4 人工智能
摘要
神经辐射场（NeRF）在建模 3D 物体和受控场景方面取得了卓越性能，通常限于单一尺度。在本工作中，我们关注多尺度情形，其中在差异极大的尺度上观察到图像的巨大变化。该场景广泛存在于真实世界 3D 环境中，例如城市场景，视角从捕捉城市全景的卫星层级，到展示建筑复杂细节的地面层级影像；也常见于地形景观和精致的 minecraft 3D 模型中。这些场景中视角位置的广泛跨度产生了具有非常不同细节层次的多尺度渲染，这对神经辐射场提出了巨大挑战并使其偏向妥协的结果。为解决这些问题，我们引入 BungeeNeRF，一种实现跨剧烈变化尺度的细节层次渲染的渐进式神经辐射场。从用浅层基础块拟合远距离视图开始，随着训练推进，追加新块以适配逐渐靠近视图中浮现的细节。该策略逐步激活 NeRF 位置编码输入中的高频通道，并随训练进行依次展开更复杂的细节。我们在多个数据源（城市模型、合成数据及无人机捕捉数据）上展示了 BungeeNeRF 在建模具有剧烈变化视角的多样多尺度场景方面的优越性，以及其对不同细节层次高质量渲染的支持。
引用
@article{arxiv.2112.05504,
title = {BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering},
author = {Yuanbo Xiangli and Linning Xu and Xingang Pan and Nanxuan Zhao and Anyi Rao and Christian Theobalt and Bo Dai and Dahua Lin},
journal= {arXiv preprint arXiv:2112.05504},
year = {2023}
}
备注
Accepted to ECCV22; Previous version: CityNeRF: Building NeRF at City Scale; Project page can be found in https://city-super.github.io/citynerf