细节中的 NeRF：学习为视图合成采样
计算机视觉与模式识别
2021-06-10 v1 图形学
机器学习
摘要
神经辐射场（NeRF）方法已展现出令人惊叹的新视角合成性能。其核心方法是沿光线采样点处查询神经网络以获采样点的密度与颜色，并利用渲染方程整合该信息来渲染各条独立光线。由于密集采样在计算上难以承受，一种常见解决方案是执行由粗到细的采样。本工作中，我们解决了原始由粗到细方法的明显局限——它基于启发式规则且未针对手头任务进行端到端训练。我们引入一个可微模块，学习为精细网络提议采样点及其重要性，并考量与比较其神经架构的多种替代方案。由于缺少监督，从头训练提议模块可能不稳定，因此我们还提出了一种有效的预训练策略。该方法命名为“细节中的 NeRF”（NeRF-ID），在合成 Blender 基准上实现了优于 NeRF 与当前最优方法的视图合成质量，在真实 LLFF-NeRF 场景上达到相当或更好的性能。此外，通过利用预测的样本重要性，可在不显著牺牲渲染质量的前提下节省 25% 的计算量。
引用
@article{arxiv.2106.05264,
title = {NeRF in detail: Learning to sample for view synthesis},
author = {Relja Arandjelović and Andrew Zisserman},
journal= {arXiv preprint arXiv:2106.05264},
year = {2021}
}