Mamba-FETrack：基于状态空间模型的帧-事件跟踪

基于RGB-Event的跟踪是一个新兴的研究课题，关注如何有效整合异构多模态数据（同步曝光视频帧和异步脉冲事件流）。现有工作通常采用基于Transformer的网络来处理这些模态，并通过多个数据集上的输入级或特征级融合实现可观的精度。然而，由于使用了自注意力机制，这些跟踪器需要大量的内存消耗和计算复杂度。本文提出了一种新颖的RGB-Event跟踪框架Mamba-FETrack，它基于状态空间模型（SSM）实现高性能跟踪，同时有效降低计算成本并实现更高效的跟踪。具体来说，我们采用两个特定模态的Mamba骨干网络来提取RGB帧和事件流的特征。然后，我们还提出利用Mamba网络增强RGB特征与事件特征之间的交互学习。融合后的特征将被送入跟踪头进行目标物体定位。在FELT和FE108数据集上的大量实验充分验证了我们提出的跟踪器的效率和有效性。具体而言，我们的基于Mamba的跟踪器在SR/PR指标上达到了43.5/55.6，而基于ViT-S的跟踪器（OSTrack）获得了40.0/50.9。我们的跟踪器和基于ViT-S的跟踪器的GPU内存成本分别为13.98GB和15.44GB，降低了约9.5%。我们的跟踪器与基于ViT-S的OSTrack的FLOPs和参数量分别为59GB/1076GB和7MB/60MB，分别降低了约94.5%和88.3%。我们希望这项工作能为跟踪领域带来一些新的见解，并极大地促进Mamba架构在跟踪中的应用。本工作的源代码将在\url{https://github.com/Event-AHU/Mamba_FETrack}上发布。