HHTrack:基于混合注意力的高光谱目标跟踪
计算机视觉与模式识别
2023-08-31 v2
摘要
高光谱图像提供了超出可见 RGB 波段的大量光谱信息,为场景中物体提供了丰富的判别细节。利用此类数据有潜力提升视觉跟踪性能。本文中,我们提出一种基于混合注意力(HHTrack)的高光谱目标跟踪器。HHTrack 的核心是通过 token 交互将特征提取与融合统一于单一组件内的高光谱混合注意力(HHA)模块。还引入了高光谱波段融合(HBF)模块,以从完整高光谱输入中有选择地聚合空间与光谱特征。大量实验证明了 HHTrack 在基准近红外(NIR)、红近红外(Red-NIR)与可见(VIS)高光谱跟踪数据集上的 SOTA 性能。我们的工作为利用 transformers 与高光谱融合的优势推进鲁棒目标跟踪提供了新见解。
引用
@article{arxiv.2308.07016,
title = {HHTrack: Hyperspectral Object Tracking Using Hybrid Attention},
author = {Yuedong Tan},
journal= {arXiv preprint arXiv:2308.07016},
year = {2023}
}