ThermoSplat：具有特征调制与几何解耦的跨模态三维高斯溅射
计算机视觉与模式识别
2026-02-10 v2
摘要
融合 RGB 和热红外数据的多模态场景重建对于在不同光照和天气条件下实现鲁棒的环境感知至关重要。然而，将三维高斯溅射（3DGS）扩展到多光谱场景仍然具有挑战性。当前方法通常难以充分利用多模态数据的互补信息，它们通常依赖的机制要么倾向于忽略跨模态相关性，要么利用无法自适应处理光谱间复杂结构关联和物理差异的共享表示。为了解决这些局限性，我们提出了 ThermoSplat，这是一个通过主动特征调制和自适应几何解耦实现深度光谱感知重建的新颖框架。首先，我们引入了一种光谱感知自适应调制，它根据热结构先验动态调节共享潜在特征，从而有效地用可靠的跨模态几何线索指导可见光纹理合成。其次，为了适应模态特定的几何不一致性，我们提出了一种模态自适应几何解耦方案，该方案学习独立的不透明度偏移量并为热分支执行独立的栅格化过程。此外，我们采用了一个混合渲染管线，将显式的球谐函数与隐式的神经解码相结合，确保了语义一致性和高频细节的保留。在 RGBT-Scenes 数据集上的大量实验表明，ThermoSplat 在可见光和热红外光谱上都达到了最先进的渲染质量。
引用
@article{arxiv.2601.15897,
title = {ThermoSplat: Cross-Modal 3D Gaussian Splatting with Feature Modulation and Geometry Decoupling},
author = {Zhaoqi Su and Shihai Chen and Xinyan Lin and Liqin Huang and Zhipeng Su and Xiaoqiang Lu},
journal= {arXiv preprint arXiv:2601.15897},
year = {2026}
}