基于深度估计的热力学高斯光场增强
计算机视觉与模式识别
2026-05-29 v1
摘要
在自动驾驶、机器人等相关领域，高效且稳健的 3D 场景表示至关重要。虽然 RGB 图像为 3D 重建提供了有价值的内容，但热成像或深度等其他模态可为环境提供额外信息。最近，诸如 3D 高斯光场等新型视角合成方法开始使用多模态数据进一步提升性能。但融合或组合多模态数据可能使过程变慢，并带来额外挑战。因此，本项目旨�使用基于热红外域的单一模态，以尽可能减少对可见光的依赖。这种单一模态预计更快，因为不依赖多模态数据。我们提出了一种方法，热力学到深度高斯光场（TDg），仅使用热成像图像和深度估计即可构建辐射场。我们的 TDg 方法在测试数据集 RGBT-Scenes 和 ThermalMix 上大多数情况下均优于 MSMG（Multiple Single-Modal Gaussians）基线。平均而言，TDg 的渲染质量指标（包括学习感知图像补丁相似性 LPIPS、结构相似性指数 SSIM 和峰值信噪比 PSNR）分别比 MSMG 基线值高出 1.12%、0.034% 和 0.01%。它还显著减少了训练时间，缩短 12 分钟 47 秒（55% 的改进）。总体而言，我们的方法成功地推导了这些热力学辐射场，最终可应用于诸多场景，例如识别关键热源的监视、搜救和工业检查等，其中温度广泛用于监控机器设备。
引用
@article{arxiv.2605.30328,
title = {Supercharging Thermal Gaussian Splatting with Depth Estimation},
author = {Manoj Biswanath and Chenxin Cai and Hannah Schieber and Daniel Roth and Benjamin Busam},
journal= {arXiv preprint arXiv:2605.30328},
year = {2026}
}
备注
8 pages, 4 figures. Accepted and will be published in ISPRS proceedings (ISPRS Congress 2026)