光谱增强变换器：利用大规模预训练模型进行高光谱目标跟踪

使用快门马赛克相机进行高光谱目标跟踪正在兴起，因为它提供了增强的光谱信息和空间数据，帮助更全面地理解物质属性。由于变换器在学习更佳特征表示方面始终超过卷积神经网络（CNN），对于高光谱目标跟踪使用变换器预期会非常有效。然而，训练大型变换器需要大量数据集和长时间的训练周期。这在复杂任务如目标跟踪中尤为关键，高光谱领域数据集的稀缺性成为无法充分发挥强大变换器模型潜力的瓶颈。这篇论文提出了一种有效的方法，适用于高光谱目标跟踪的大规模预训练变换器基础模型。我们提出了一种自适应、可学习的空间-光谱标记融合模块，可扩展到任何变换器基础模型，以学习高光谱数据中内在的空间-光谱特征。此外，我们的模型包含一种跨模态训练管道，促进了来自不同传感器模态收集的高光谱数据集之间的有效学习。这使得从额外的模态（无论测试时是否包含）中提取互补知识。我们提议的模型也能在最少的训练迭代次数下实现卓越的性能。