面向大型城市场景的网格引导神经辐射场
计算机视觉与模式识别
2023-03-27 v1
摘要
纯基于MLP的神经辐射场（NeRF类方法）常因模型容量有限而在大规模场景上出现欠拟合及渲染模糊。近期方法提出按地理划分场景并采用多个子NeRF分别建模各区域，导致训练成本与子NeRF数量随场景扩大呈线性增长。另一种方案是使用特征网格表示，其计算高效且可随网格分辨率提升自然扩展到大型场景。然而，特征网格往往约束不足，常陷入次优解，在几何与纹理复杂的区域产生噪声伪影。本工作中，我们提出一种在大型城市场景上实现高保真渲染且计算高效的框架。我们提出使用紧凑的多分辨率地面特征平面表示来粗略捕捉场景，并通过另一NeRF分支以位置编码输入进行联合学习式渲染作为补充。我们表明，这种融合可利用两种替代方案的优势：在特征网格表示引导下，轻量NeRF即足以渲染具精细细节的真实感新视角；而联合优化的地面特征平面可同时获得进一步精炼，形成更准确紧凑的特征空间并输出更自然的渲染结果。
引用
@article{arxiv.2303.14001,
title = {Grid-guided Neural Radiance Fields for Large Urban Scenes},
author = {Linning Xu and Yuanbo Xiangli and Sida Peng and Xingang Pan and Nanxuan Zhao and Christian Theobalt and Bo Dai and Dahua Lin},
journal= {arXiv preprint arXiv:2303.14001},
year = {2023}
}
备注
CVPR2023, Project page at https://city-super.github.io/gridnerf/