Aleth-NeRF：基于隐藏场假设的光照自适应NeRF
计算机视觉与模式识别
2024-01-25 v3
摘要
标准的神经辐射场（NeRF）范式采用以观察者为中心的方法，将光照和材质反射的方面纠缠为仅从3D点发射。这种简化的渲染方法在准确建模低光或过曝等不利光照条件下拍摄的图像时面临挑战。受古希腊发射理论的启发，该理论认为视觉感知是眼睛发出射线的结果，我们对传统NeRF框架进行了轻微改进，以在具有挑战性的光照条件下训练NeRF，并无监督地生成正常光照条件下的新视角。我们引入了“隐藏场”（Concealing Field）的概念，该场为周围空气分配透射率值以解释光照效应。在黑暗场景中，我们假设物体发射保持标准光照水平，但在渲染过程中穿过空气时会衰减。因此，隐藏场迫使NeRF即使在昏暗光照下也能学习合理的物体密度和颜色估计。类似地，隐藏场可以在渲染阶段减轻过曝发射。此外，我们提供了一个在具有挑战性的光照条件下捕获的全面多视角数据集用于评估。我们的代码和数据集可在 https://github.com/cuiziteng/Aleth-NeRF 获取。
引用
@article{arxiv.2312.09093,
title = {Aleth-NeRF: Illumination Adaptive NeRF with Concealing Field Assumption},
author = {Ziteng Cui and Lin Gu and Xiao Sun and Xianzheng Ma and Yu Qiao and Tatsuya Harada},
journal= {arXiv preprint arXiv:2312.09093},
year = {2024}
}
备注
AAAI 2024, code available at https://cuiziteng.github.io/Aleth_NeRF_web/ Modified version of previous paper arXiv:2303.05807