重新思考神经辐射场中的方向积分
计算机视觉与模式识别
2023-11-29 v1 图形学
摘要
近期工作使用神经辐射场（Neural Radiance Field, NeRF）进行多视角三维重建，在渲染照片级真实场景方面实现了显著飞跃。然而，尽管其有效，与光场渲染或基于图像的视角合成相比，NeRF 在学习视角相关效果方面的能力有限。为此，我们对 NeRF 渲染方程进行了修改，对于任何 NeRF 变体而言，这只需改动几行代码般简单，同时大幅提升了视角相关效果的渲染质量。通过交换积分算子和方向解码网络，我们仅沿光线积分位置特征，并将方向项移出积分，从而实现视角相关与无关组件的解耦。在具有狄拉克密度的物体表面理想情况下，修改后的方程等价于经典的体积渲染。此外，我们证明在网络近似和数值积分引起的误差下，与经典 NeRF 相比，我们的渲染方程表现出更好的收敛特性且误差累积更低。我们还表明，修改后的方程可解释为具有学习到的光线嵌入的光场渲染。在不同 NeRF 变体上的实验表明，通过我们的简单修改，视角相关效果的质量得到了一致提升。
引用
@article{arxiv.2311.16504,
title = {Rethinking Directional Integration in Neural Radiance Fields},
author = {Congyue Deng and Jiawei Yang and Leonidas Guibas and Yue Wang},
journal= {arXiv preprint arXiv:2311.16504},
year = {2023}
}