基于伪 TeX 视觉的神经辐射场 (NeRF) 方法——TeX-NeRF
计算机视觉与模式识别
2024-10-08 v1 机器人学
摘要
神经辐射场 (NeRF) 因其卓越的视觉效果而受到广泛关注。然而，大多数现有 NeRF 方法仅能从可见光相机拍摄的 RGB 图像重建 3D 场景。 在实际场景中，由于光线不足、低照度或恶劣天气等因素， 可见光相机会变得不实用。因此，我们提出了 TeX-NeRF，这是一种仅使用红外图像进行的 3D 重建方法。该方法引入物体材料发射率作为先验知识，对红外图像进行伪 TeX 视觉预处理，并将场景的温度 (T)、发射率 (e) 和纹理 (X) 分别映射到 HSV 色彩空间中的饱和度 (S)、色调 (H) 和亮度 (V) 通道。经处理后的图像用于新视角合成，效果优异。此外，我们还引入了 3D-TeX 数据集，这是第一个包含红外图像及其对应伪 TeX 视觉图像的数据集。实验表明，我们的方法不仅能够实现与使用高质量 RGB 图像相当的场景重建质量，还能为场景中物体提供准确的温度估计。
引用
@article{arxiv.2410.04873,
title = {TeX-NeRF: Neural Radiance Fields from Pseudo-TeX Vision},
author = {Chonghao Zhong and Chao Xu},
journal= {arXiv preprint arXiv:2410.04873},
year = {2024}
}