利用不可见光重建：来自近红外与元数据的直觉以增强3D高斯泼溅
计算机视觉与模式识别
2025-08-21 v1
摘要
尽管3D高斯泼溅（3DGS）已迅速发展，但其在农业中的应用仍探索不足。农业场景为3D重建方法带来了独特挑战，特别是由于光照不均、遮挡和有限的视野。为解决这些限制，我们引入了NIRPlant，一个新颖的多模态数据集，包含在不同室内外光照条件下采集的近红外（NIR）图像、RGB图像、文本元数据、深度和激光雷达数据。通过整合NIR数据，我们的方法增强了鲁棒性，并提供了超越可见光谱的关键植物学见解。此外，我们利用从植被指数（如NDVI、NDWI和叶绿素指数）中提取的基于文本的元数据，这显著丰富了对复杂农业环境的上下文理解。为充分利用这些模态，我们提出了NIRSplat，一种有效的多模态高斯泼溅架构，采用交叉注意力机制结合基于3D点的位置编码，提供鲁棒的几何先验。综合实验表明，NIRSplat优于现有的标志性方法，包括3DGS、CoR-GS和InstantSplat，突显了其在挑战性农业场景中的有效性。代码和数据集已公开于：https://github.com/StructuresComp/3D-Reconstruction-NIR。
引用
@article{arxiv.2508.14443,
title = {Reconstruction Using the Invisible: Intuition from NIR and Metadata for Enhanced 3D Gaussian Splatting},
author = {Gyusam Chang and Tuan-Anh Vu and Vivek Alumootil and Harris Song and Deanna Pham and Sangpil Kim and M. Khalid Jawed},
journal= {arXiv preprint arXiv:2508.14443},
year = {2025}
}