暗光下的 NeRF：基于含噪原始图像的高动态范围视图合成
计算机视觉与模式识别
2021-11-29 v1 图形学
图像与视频处理
摘要
神经辐射场（NeRF）是一种从一组带位姿的输入图像进行高质量新视角合成的技术。与大多数视图合成方法一样，NeRF 使用色调映射后的低动态范围（LDR）图像作为输入；这些图像经过了有损的相机流水线处理，该流水线平滑了细节、裁剪了高光并扭曲了原始传感器数据的简单噪声分布。我们修改 NeRF 以直接在线性的原始图像上训练，从而保留场景的完整动态范围。通过从得到的 NeRF 渲染原始输出图像，我们可以执行新颖的高动态范围（HDR）视图合成任务。除了改变相机视角外，我们还可以事后操控对焦、曝光和色调映射。尽管单张原始图像比后处理图像看起来噪声明显更多，我们表明 NeRF 对原始噪声的零均值分布具有高度鲁棒性。当在大量含噪原始输入（25-200）上优化时，NeRF 产生的场景表示非常准确，其渲染的新视角优于在相同宽基线输入图像上运行的专用单图像和多图像深度原始去噪器。因此，我们称为 RawNeRF 的方法可以从近黑暗中捕获的极噪图像中重建场景。
引用
@article{arxiv.2111.13679,
title = {NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images},
author = {Ben Mildenhall and Peter Hedman and Ricardo Martin-Brualla and Pratul Srinivasan and Jonathan T. Barron},
journal= {arXiv preprint arXiv:2111.13679},
year = {2021}
}
备注
Project page: https://bmild.github.io/rawnerf/