SSF-Net: 面向高光谱目标跟踪的具有光谱角感知的空间-光谱融合网络

高光谱视频(HSV)同时提供有价值的空间、光谱和时间信息,使其非常适合处理目标跟踪中的背景杂波和视觉相似性等挑战。然而,现有方法主要关注波段重组并依赖 RGB 跟踪器进行特征提取,导致光谱信息探索有限且难以实现目标特征的互补表示。本文提出了一种具有光谱角感知的空间-光谱融合网络(SST-Net),用于高光谱(HS)目标跟踪。首先,为了解决现有网络中光谱特征提取不足的问题,设计了一个空间-光谱特征主干网络($S^2$FB)。通过空间和光谱提取分支,获得了纹理和光谱的联合表示。其次,提出了一个光谱注意力融合模块(SAFM),以捕获模态内和模态间的相关性,从而从 HS 和 RGB 模态中获取融合特征。它可以将视觉信息融入 HS 光谱上下文中,形成鲁棒的表示。第三,为了确保跟踪器对目标位置的响应更准确,光谱角感知模块(SAAM)在预测阶段研究了模板图像和搜索图像之间的区域级光谱相似性。此外,我们开发了一种新颖的光谱角感知损失(SAAL),以基于相似区域为 SAAM 提供指导。最后,为了获得鲁棒的跟踪结果,考虑了一种加权预测方法,结合目标的 HS 和 RGB 预测运动,以利用每种模态的优势。在 HOTC 数据集上的大量实验证明了所提出的 SSF-Net 与最先进的跟踪器相比的有效性。