利用热成像模态增强低光照条件下的重建
计算机视觉与模式识别
2024-03-22 v1 图形学
摘要
Neural Radiance Fields (NeRF) 通过从忠实传达色彩信息的多视图图像中学习场景的隐式体积表示，实现了照片级真实感的新视角合成。然而，传感器噪声会污染低像素值信号，且有损的相机图像信号处理器在极暗环境下会进一步去除接近零的强度，从而恶化合成性能。现有方法从 raw 图像重建低光照场景，但难以恢复暗区的纹理和边界细节。此外，它们不适用于依赖显式表示的高速模型。为解决这些问题，我们提出了 Thermal-NeRF，其以热成像与可见光 raw 图像作为输入，考虑到热成像相机对光照变化具有鲁棒性且 raw 图像能保留暗环境中的任何可能线索，从而同时实现可见光与热成像视角合成。同时，我们建立了首个多视图热成像与可见光数据集（MVTV），以支持多模态 NeRF 的研究。Thermal-NeRF 在细节保留与噪声平滑之间取得了最佳折中，并提供了优于以往工作的合成性能。最后，我们证明了两种模态在 3D 重建中互为裨益。
引用
@article{arxiv.2403.14053,
title = {Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions},
author = {Jiacong Xu and Mingqian Liao and K Ram Prabhakar and Vishal M. Patel},
journal= {arXiv preprint arXiv:2403.14053},
year = {2024}
}
备注
25 pages, 13 figures