DoF-NeRF：景深遇见神经辐射场
计算机视觉与模式识别
2022-08-02 v1
摘要
神经辐射场（NeRF）及其变体在三维场景表示与逼真新视角合成方面取得了巨大成功。然而，它们通常基于针孔相机模型并假设输入全部合焦。这限制了其适用性，因为真实世界捕获的图像往往具有有限景深（DoF）。为缓解此问题，我们提出 DoF-NeRF，一种能够处理浅景深输入并模拟景深效应的新型神经渲染方法。具体而言，它遵循几何光学原理扩展 NeRF 以模拟镜头光圈。这种物理保证使 DoF-NeRF 能够处理具有不同对焦配置的图像。得益于显式光圈建模，DoF-NeRF 还可通过调整虚拟光圈与对焦参数直接操控景深效果。它是即插即用的，可嵌入基于 NeRF 的框架中。在合成与真实世界数据集上的实验表明，DoF-NeRF 不仅在全对焦设置下与 NeRF 表现相当，还能基于浅景深输入合成全对焦新视角。我们还展示了 DoF-NeRF 在景深渲染方面的一个有趣应用。源代码将发布于 https://github.com/zijinwuzijin/DoF-NeRF。
引用
@article{arxiv.2208.00945,
title = {DoF-NeRF: Depth-of-Field Meets Neural Radiance Fields},
author = {Zijin Wu and Xingyi Li and Juewen Peng and Hao Lu and Zhiguo Cao and Weicai Zhong},
journal= {arXiv preprint arXiv:2208.00945},
year = {2022}
}
备注
Accepted by ACMMM 2022