基于 3D 高斯溶射的 MrGS：多模态辐射场用于 RGB-热图像新视角合成

NeRF 和 3D 高斯溶射 (3DGS) 的最新进展在 RGB 场景重建方面取得了显著成绩。然而，融合热红外图像的多模态渲染仍 largely 未被探索。现有方法倾向于忽略热特性，如热传导和兰伯特定律性质。本研究提出了 MrGS，一种基于 3DGS 的多模态辐射场，同时重建 RGB 和热 3D 场景。具体而言，MrGS 从单一外观特征中通过正交特征提取派生 RGB 和热相关信息，并根据每个模态的兰伯特反射程度采用视图依赖或视图独立嵌入策略。此外，我们利用两个物理学原理有效建模热域现象：首先，将傅里叶热传导定律纳入 alpha 混合，以建模由相邻高斯体之间的热传导引起的强度插值；其次，应用斯特efan-玻尔兹曼定律和反平方定律，构建一种深度感知的热辐射图，对热渲染施加额外的几何约束。实验结果表明，所提出的 MrGS 在保持高保真度 RGB-T 场景重建的同时，显著减少了高斯体的数量。