用于神经辐射场实时渲染的 PlenOctrees
计算机视觉与模式识别
2021-08-18 v2 图形学
摘要
我们介绍了一种使用 PlenOctrees（一种支持视角相关效果的基于八叉树的 3D 表示）实时渲染神经辐射场（NeRFs）的方法。我们的方法能以超过 150 FPS 渲染 800x800 图像，比传统 NeRFs 快 3000 倍以上。我们在不牺牲质量的前提下做到这一点，同时保留了 NeRFs 对具有任意几何和视角相关效果场景进行自由视点渲染的能力。实时性能通过将 NeRF 预制表为 PlenOctree 实现。为保留高光等视角相关效果，我们通过闭式球基函数分解外观。具体而言，我们展示可以训练 NeRFs 预测辐射度的球谐表示，从而将观察方向从神经网络输入中移除。此外，我们展示可直接优化 PlenOctrees 以进一步最小化重建损失，从而获得与竞争方法相当或更好的质量。而且，该八叉树优化步骤可用于减少训练时间，因为我们不再需要等待 NeRF 训练完全收敛。我们的实时神经渲染方法可能赋能新应用，如 6-DOF 工业与产品可视化，以及下一代 AR/VR 系统。PlenOctrees 也适合浏览器内渲染；请访问项目页查看交互式在线演示以及视频和代码：https://alexyu.net/plenoctrees
引用
@article{arxiv.2103.14024,
title = {PlenOctrees for Real-time Rendering of Neural Radiance Fields},
author = {Alex Yu and Ruilong Li and Matthew Tancik and Hao Li and Ren Ng and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2103.14024},
year = {2021}
}
备注
ICCV 2021 (Oral)