Thermal3D-GS:用于热红外新视角合成的物理诱导 3D 高斯
计算机视觉与模式识别
2024-09-13 v1 图形学
摘要
基于可见光的新视角合成已被广泛研究。与可见光成像相比,热红外成像具有全天候成像和强穿透力的优势,为夜间和恶劣天气场景下的重建提供了更多可能。然而,热红外成像受大气传输效应和热传导等物理特性的影响,阻碍了热红外场景中复杂细节的精确重建,在合成图像中表现为悬浮伪影和边缘特征模糊等问题。为了解决这些局限性,本文引入了一种名为 Thermal3D-GS 的物理诱导 3D 高斯泼溅方法。Thermal3D-GS 首先利用神经网络对三维介质中的大气传输效应和热传导进行建模。此外,将温度一致性约束纳入优化目标,以提高热红外图像的重建精度。为进一步验证我们方法的有效性,创建了该领域首个大规模基准数据集,命名为热红外新视角合成数据集(TI-NSD)。该数据集包含 20 个真实的热红外视频场景,涵盖室内、室外和无人机(UAV)场景,共计 6,664 帧热红外图像数据。基于该数据集,本文通过实验验证了 Thermal3D-GS 的有效性。结果表明,我们的方法优于基线方法,PSNR 提高了 3.03 dB,并显著解决了基线方法中存在的悬浮伪影和边缘特征模糊问题。我们的数据集和代码库将在 \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}} 发布。
引用
@article{arxiv.2409.08042,
title = {Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis},
author = {Qian Chen and Shihao Shu and Xiangzhi Bai},
journal= {arXiv preprint arXiv:2409.08042},
year = {2024}
}
备注
17 pages, 4 figures, 3 tables