用于高效神经辐射场渲染的自适应壳层
计算机视觉与模式识别
2023-11-17 v1 图形学
摘要
神经辐射场在新视角合成方面达到了前所未有的质量,但其体积表示仍然昂贵,需要大量采样才能渲染高分辨率图像。体积编码对于表示 foliage 和头发等模糊几何至关重要,并且非常适合随机优化。然而,许多场景最终主要由实体表面构成,每个像素单次采样即可精确渲染。基于这一洞察,我们提出了一种神经辐射表示,可在体积渲染与基于表面的渲染之间平滑过渡,大幅加速渲染速度甚至提升视觉保真度。我们的方法构建了一个显式网格包络,在空间上约束神经体积表示。在实体区域,包络几乎收敛为表面,通常可用单次采样渲染。为此,我们推广了 NeuS 公式,引入学习的空间变化核大小来编码密度的扩散,对类体积区域拟合宽核,对类表面区域拟合紧核。然后我们提取表面周围窄带的显式网格,其宽度由核大小决定,并在该带内微调辐射场。在推理时,我们对网格投射光线,仅在该封闭区域内评估辐射场,大幅减少所需采样数。实验表明,我们的方法能够实现极高保真度的高效渲染。我们还展示了提取的包络可支持动画与仿真等下游应用。
引用
@article{arxiv.2311.10091,
title = {Adaptive Shells for Efficient Neural Radiance Field Rendering},
author = {Zian Wang and Tianchang Shen and Merlin Nimier-David and Nicholas Sharp and Jun Gao and Alexander Keller and Sanja Fidler and Thomas Müller and Zan Gojcic},
journal= {arXiv preprint arXiv:2311.10091},
year = {2023}
}
备注
SIGGRAPH Asia 2023. Project page: research.nvidia.com/labs/toronto-ai/adaptive-shells/