Mega-NeRF：用于虚拟飞行穿越的大规模 NeRF 可扩展构建
计算机视觉与模式识别
2022-03-30 v2 图形学
机器学习
摘要
我们利用神经辐射场（NeRFs）从大规模视觉采集构建交互式 3D 环境，这些采集主要来自于无人机，跨越建筑物甚至多个城市街区。与传统的 NeRF 评估所基于的单物体场景不同，我们的规模带来了多重挑战，包括（1）需要对具有变化光照条件、每张仅捕获场景一小子集的成千上万张图像进行建模，（2） prohibitively 大的模型容量使得在单个 GPU 上训练不可行，以及（3）实现支持交互式飞行穿越的快速渲染方面的重大挑战。为应对这些挑战，我们首先分析大规模场景的可见性统计，从而引出一种稀疏网络结构，其中参数专用于场景的不同区域。我们引入一种简单的数据并行几何聚类算法，将训练图像（或更确切地像素）划分到可并行训练的不同 NeRF 子模块中。我们在现有数据集（Quad 6k 和 UrbanScene3D）以及我们自己的无人机镜头上评估我们的方法，将训练速度提高 3 倍、PSNR 提高 12%。我们还在 Mega-NeRF 之上评估了近期 NeRF 快速渲染器，并引入一种利用时间一致性的新方法。我们的技术在常规 NeRF 渲染上实现了 40 倍加速，同时保持 PSNR 质量在 0.8 db 以内，超越了现有快速渲染器的保真度。
引用
@article{arxiv.2112.10703,
title = {Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs},
author = {Haithem Turki and Deva Ramanan and Mahadev Satyanarayanan},
journal= {arXiv preprint arXiv:2112.10703},
year = {2022}
}
备注
CVPR 2022 Project page: https://meganerf.cmusatyalab.org GitHub: https://github.com/cmusatyalab/mega-nerf