面向视觉基础模型语义分割的高光谱适配器
计算机视觉与模式识别
2025-09-26 v2 人工智能
机器学习
机器人学
摘要
高光谱成像（HSI）在众多窄波长带上捕获空间信息以及密集的光谱测量。这些丰富的光谱内容有潜力促进鲁棒的机器人感知，特别是在具有复杂材料组成、变化光照或其他视觉挑战性条件的环境中。然而，当前的高光谱语义分割方法由于依赖针对RGB输入优化的架构和学习框架而表现不佳。在本工作中，我们提出了一种新型高光谱适配器，利用预训练的视觉基础模型有效从高光谱数据中学习。我们的架构包含一个光谱Transformer和一个光谱感知空间先验模块来提取丰富的空间-光谱特征。此外，我们引入了一个模态感知交互模块，通过专用的提取与注入机制促进高光谱表示与冻结视觉Transformer特征的有效集成。在三个基准自动驾驶数据集上的广泛评估表明，我们的架构在使用高光谱输入直接进行语义分割方面达到了最先进的性能，超越了基于视觉的方法和高光谱分割方法。代码已发布于 https://hsi-adapter.cs.uni-freiburg.de。
引用
@article{arxiv.2509.20107,
title = {Hyperspectral Adapter for Semantic Segmentation with Vision Foundation Models},
author = {Juana Valeria Hurtado and Rohit Mohan and Abhinav Valada},
journal= {arXiv preprint arXiv:2509.20107},
year = {2025}
}