ProNeRF：面向细粒度隐式神经辐射场的高效投影感知光线采样学习
计算机视觉与模式识别
2023-12-14 v1 图像与视频处理
摘要
神经渲染的最新进展表明，尽管速度较慢，但隐式紧凑模型可以从多个视图中学习场景的几何形状和视角相关的表观。为了保持如此小的内存占用同时实现更快的推理时间，近期工作采用了“采样器”网络，这些网络在隐式神经辐射场中沿每条光线自适应地采样一小部分点。尽管这些方法将渲染时间减少了高达 10 倍，但与原始 NeRF 相比，它们仍然存在相当的质量下降。相比之下，我们提出了 ProNeRF，它在内存占用（与 NeRF 相似）、速度（比 HyperReel 更快）和质量（比 K-Planes 更好）之间提供了最优的权衡。ProNeRF 配备了一个新颖的投影感知采样（PAS）网络，以及一种用于光线探索与利用的新训练策略，允许进行高效的细粒度粒子采样。我们的 ProNeRF 产生了最先进的指标，比 NeRF 快 15-23 倍，PSNR 高 0.65dB，并且比已发表的最佳基于采样器的方法 HyperReel 的 PSNR 高 0.95dB。我们的探索与利用训练策略使 ProNeRF 能够学习完整场景的颜色和密度分布，同时学习专注于最高密度区域的高效光线采样。我们提供了广泛的实验结果，支持我们的方法在广泛采用的前向和 360 度数据集（分别为 LLFF 和 Blender）上的有效性。
引用
@article{arxiv.2312.08136,
title = {ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields},
author = {Juan Luis Gonzalez Bello and Minh-Quan Viet Bui and Munchurl Kim},
journal= {arXiv preprint arXiv:2312.08136},
year = {2023}
}
备注
Visit our project website at https://kaist-viclab.github.io/pronerf-site/