用于实时动态辐射场渲染的傅里叶PlenOctree
计算机视觉与模式识别
2022-02-23 v2 图形学
摘要
神经辐射场(NeRF)等隐式神经表示主要聚焦于建模多视角设置下捕获的静态物体，其中可通过PlenOctree等巧妙数据结构实现实时渲染。本文提出一种新颖的傅里叶PlenOctree (FPO)技术，以应对自由视角视频(FVV)设置下捕获的动态场景的高效神经建模与实时渲染。我们FPO的核心思想是将广义NeRF、PlenOctree表示、体融合与傅里叶变换新颖结合。为加速FPO构建，我们提出一种利用可泛化NeRF技术通过空间混合生成树的由粗到细融合方案。为处理动态场景，我们定制隐式网络以建模时变密度与颜色属性的傅里叶系数。最后，我们构建FPO并直接在动态序列的联合PlenOctree结构的叶节点上训练傅里叶系数。结果表明所得FPO能以紧凑内存开销处理动态物体并支持高效微调。大量实验表明，该方法比原始NeRF快3000倍，并在保持未观测动态场景自由视角渲染高视觉质量的同时，相较SOTA实现超过一个数量级的加速。
引用
@article{arxiv.2202.08614,
title = {Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time},
author = {Liao Wang and Jiakai Zhang and Xinhang Liu and Fuqiang Zhao and Yanshun Zhang and Yingliang Zhang and Minye Wu and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2202.08614},
year = {2022}
}
备注
Project page: https://aoliao12138.github.io/FPO/