烘焙神经辐射场以实现实时视图合成
计算机视觉与模式识别
2021-03-29 v1 图形学
摘要
神经体积表示如神经辐射场（NeRF）已成为一种引人注目的技术，用于从图像中学习表示 3D 场景，目标是从未观测视点渲染场景的照片真实感图像。然而，NeRF 的计算需求对实时应用而言高得令人望而却步：从训练好的 NeRF 渲染视图需要每条光线查询多层感知机（MLP）数百次。我们提出一种方法，训练 NeRF，然后将其预计算并存储（即“烘焙”）为一种称为稀疏神经辐射网格（SNeRG）的新表示，该表示可在商用硬件上实现实时渲染。为此，我们引入 1）对 NeRF 架构的重新表述，以及 2）带有学习特征向量的稀疏体素网格表示。所得场景表示保留了 NeRF 渲染精细几何细节和视相关外观的能力，紧凑（平均每场景小于 90 MB），且可实时渲染（在笔记本电脑 GPU 上高于 30 帧每秒）。我们的视频中展示了实际屏幕捕获画面。
引用
@article{arxiv.2103.14645,
title = {Baking Neural Radiance Fields for Real-Time View Synthesis},
author = {Peter Hedman and Pratul P. Srinivasan and Ben Mildenhall and Jonathan T. Barron and Paul Debevec},
journal= {arXiv preprint arXiv:2103.14645},
year = {2021}
}
备注
Project page: https://nerf.live