NeRFocus：用于三维合成散焦的神经辐射场
计算机视觉与模式识别
2022-08-11 v2
摘要
神经辐射场（NeRF）为三维交互体验带来了新浪潮。然而，作为沉浸式体验的重要部分，散焦效果在 NeRF 中尚未被充分探索。一些近期的基于 NeRF 的方法通过后处理方式的多次平面技术生成三维散焦效果，但它们要么耗时要么耗内存。本文提出一种新颖的基于薄透镜成像的 NeRF 框架，可直接渲染各种三维散焦效果，称为 NeRFocus。与针孔不同，薄透镜折射场景点的光线，因此其传感器平面上的成像散射为弥散圆（CoC）。直接采样足够光线以近似此过程的计算代价高昂。相反，我们提出反转薄透镜成像，显式建模传感器平面上每一点的光束路径，并将该范式推广到每个像素的光束路径，随后使用基于视锥的体积渲染来渲染每个像素的光束路径。我们进一步设计了一种高效的概率训练（p-training）策略以大幅简化训练过程。大量实验表明，我们的 NeRFocus 能以可调的相机位姿、对焦距离和光圈大小实现各种三维散焦效果。现有 NeRF 可通过将光圈大小设为零来渲染大景深图像，视为我们的特例。尽管有这些优点，NeRFocus 并未牺牲 NeRF 的原始性能（如训练和推理时间、参数消耗、渲染质量），这意味着其在更广泛应用与进一步改进上的巨大潜力。代码与视频见 https://github.com/wyhuai/NeRFocus。
引用
@article{arxiv.2203.05189,
title = {NeRFocus: Neural Radiance Field for 3D Synthetic Defocus},
author = {Yinhuai Wang and Shuzhou Yang and Yujie Hu and Jian Zhang},
journal= {arXiv preprint arXiv:2203.05189},
year = {2022}
}