基于神经辐射分布场的高效视图合成
计算机视觉与模式识别
2023-08-23 v1
摘要
近期关于神经辐射场（NeRF）的工作已在高质量视图合成方面展现出显著进展。NeRF的一个主要局限是由于渲染单个像素需要多次网络前向传播而导致的低渲染效率。现有改进NeRF的方法要么减少所需采样数，要么优化实现以加速网络前向传播。尽管有这些努力，由于辐射场的固有表示，多次采样的问题依然存在。相比之下，神经光场（NeLF）通过每像素仅查询一次网络前向传播来降低NeRF的计算成本。为达到接近NeRF的视觉质量，现有NeLF方法需要显著更大的网络容量，这限制了它们实际的渲染效率。在本工作中，我们提出一种称为神经辐射分布场（NeRDF）的新表示，面向实时的高效视图合成。具体而言，我们使用类似于NeRF的小网络，同时如NeLF般以每像素单次网络前向传播保持渲染速度。关键是以频率基建模每条光线上的辐射分布，并使用网络预测频率权重。然后通过辐射分布上的体渲染计算像素值。实验表明，我们提出的方法在速度、质量和网络规模之间提供了比现有方法更好的权衡：我们以相似网络规模实现了相比NeRF约254倍的加速，且仅有微小的性能下降。我们的项目页面位于 yushuang-wu.github.io/NeRDF。
引用
@article{arxiv.2308.11130,
title = {Efficient View Synthesis with Neural Radiance Distribution Field},
author = {Yushuang Wu and Xiao Li and Jinglu Wang and Xiaoguang Han and Shuguang Cui and Yan Lu},
journal= {arXiv preprint arXiv:2308.11130},
year = {2023}
}
备注
Accepted by ICCV2023