低光照场景的 LuSh-NeRF：点亮与锐化神经辐射场
计算机视觉与模式识别
2024-11-12 v1
摘要
神经辐射场(NeRFs)在从高质量场景图像中生成新视角图像方面显示出卓越的性能。然而，手持低光摄影对 NeRFs 提出了挑战，因为捕获的图像可能同时受到低可见度、噪声和摄像机抖动的影响。虽然已有的 NeRF 方法可能处理低光或运动问题，但直接将它们组合或包含额外的图像增强方法是行不通的，因为这些退化因素高度耦合。我们注意到，低光图像中的噪声总是锐利的，这表明这些退化因素在图像形成过程中具有隐式的顺序。为此，我们提出了一种新模型，称为 LuSh-NeRF，可以从一组手持低光图像中重建干净且锐利的 NeRF。LuSh-NeRF 的关键思想是通过多视角特征一致性和 NeRF 的频率信息依次建模噪声和模糊。具体而言，LuSh-NeRF包括一个用于分离噪声的场景-噪声分解(SND)模块，以及一个基于低频场景信息估计摄像机运动的相机轨迹预测(CTP)模块。为便于训练和评估，我们构建了一个包含合成和真实图像的新数据集。实验表明，LuSh-NeRF 优于现有方法。我们的代码和数据集可在 https://github.com/quzefan/LuSh-NeRF 上获取。
引用
@article{arxiv.2411.06757,
title = {LuSh-NeRF: Lighting up and Sharpening NeRFs for Low-light Scenes},
author = {Zefan Qu and Ke Xu and Gerhard Petrus Hancke and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2411.06757},
year = {2024}
}
备注
Accepted by NeurIPS 2024