SpectralGaussians：基于 3D 高斯溅射的语义-光谱 3D 高斯表示，用于多光谱场景表示、可视化与分析
计算机视觉与模式识别
2024-08-14 v1 人工智能
图形学
摘要
我们提出了一种基于 3D 高斯溅射 (3DGS) 的跨光谱渲染框架，从注册的多视角光谱图和分割图中生成真实且语义上有意义的溅射点。此扩展增强了具有多光谱场景的表示，提供了关于底层材料和分割的洞察。我们引入了改进的基于物理的渲染方法，用于高斯溅射，估计每个光谱的反射率和光照，从而提高了准确性和真实性。在综合的定量和质性评估中，我们展示了我们方法相对于其他最近基于学习的光谱场景表示方法（即 XNeRF 和 SpectralNeRF）以及其他非光谱最先进的基于学习的方法的优越性能。我们的工作还展示了多光谱场景理解为精确场景编辑技术（如风格迁移、图像填充和删除）提供的潜力。因此，我们的贡献解决了多光谱场景表示、渲染和编辑中的挑战，为 diverse 应用提供了新可能性。
引用
@article{arxiv.2408.06975,
title = {SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis},
author = {Saptarshi Neil Sinha and Holger Graf and Michael Weinmann},
journal= {arXiv preprint arXiv:2408.06975},
year = {2024}
}