多光谱高斯溅射与神经色彩表征
图形学
2026-02-17 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了MS-Splatting——一个多光谱三维高斯溅射(3DGS)框架，能够从具有不同光谱域的多个独立相机的图像中生成多视角一致的新视图。与先前方法不同，我们的方法不需要跨模态相机校准，并且足够通用以建模多种不同的光谱，包括热红外和近红外，而无需任何算法变更。与现有的将每种模态单独处理（通过优化逐通道球谐函数）因此未能利用底层光谱和空间相关性的3DGS框架不同，我们的方法利用了一种新型神经色彩表征，将多光谱信息编码到学习到的紧凑的每个溅射点特征嵌入中。一个浅层多层感知器(MLP)随后解码该嵌入以获得光谱色彩值，使所有波段能够在统一表征中进行联合学习。我们的实验表明，这种简单而有效的策略能够提升多光谱渲染质量，同时也能在逐光谱渲染质量上优于最先进的方法。我们在农业应用中展示了该新技术的有效性，以渲染植被指数，如归一化植被指数(NDVI)。
引用
@article{arxiv.2506.03407,
title = {Multi-Spectral Gaussian Splatting with Neural Color Representation},
author = {Lukas Meyer and Josef Grün and Maximilian Weiherer and Bernhard Egger and Marc Stamminger and Linus Franke},
journal= {arXiv preprint arXiv:2506.03407},
year = {2026}
}
备注
for project page, see https://meyerls.github.io/ms_splatting