ThermalGaussian: 热态3D高斯溅射
计算机视觉与模式识别
2025-04-23 v2 人工智能
摘要
热成像在军事及其他监视摄像机用户中尤为有价值。最近一些基于神经辐射场(NeRF)的方法被提出用于从热图和RGB图的集合中重建热态3D场景。然而,与NeRF不同,3D高斯溅射(3DGS)因其快速训练和实时渲染而占据优势。本文提出ThermalGaussian,这是一种首次能够在RGB和热态两种模态中渲染高质�图像的热态3DGS方法。我们首先校准RGB摄像机和热态摄像机,确保两种模态准确对齐。随后,我们使用配准图像来学习多模态3D高斯。为防止单个模态出现过拟合,我们引入了若干多模态正则化约束。我们还开发了针对热态模态物理特性的平滑约束。此外,我们贡献了一个名为RGBT-Scenes的真实世界数据集,由手持热态红外摄像机捕获,促进热态场景重建的后续研究。我们进行了全面实验,表明ThermalGaussian能够实现热态图像的全景渲染,并提升RGB图像的渲染质量。通过提出的多模态正则化约束,我们还将模型存储成本降低了90%。我们的项目页面位于https://thermalgaussian.github.io/。
关键词
引用
@article{arxiv.2409.07200,
title = {ThermalGaussian: Thermal 3D Gaussian Splatting},
author = {Rongfeng Lu and Hangyu Chen and Zunjie Zhu and Yuhang Qin and Ming Lu and Le Zhang and Chenggang Yan and Anke Xue},
journal= {arXiv preprint arXiv:2409.07200},
year = {2025}
}
备注
10 pages, 7 figures