面向 RGB-Event 目标跟踪的事件自适应状态转换与门控融合
计算机视觉与模式识别
2026-04-17 v1 人工智能
摘要
现有的基于 Vision Mamba 的 RGB-Event(RGBE)跟踪方法使用静态状态转换矩阵，无法适应事件稀疏性的变化。这种刚性导致在稀疏事件流上存在不足建模-过拟合密集事件流的不平衡，从而降低跨模态融合的鲁棒性。为解决这些限制，我们提出了 MambaTrack，一个基于动态状态空间模型(DSSM)的多模态高效跟踪框架。我们的贡献有两个方面。首先，我们引入事件自适应状态转换机制，基于事件流密度动态调制状态转换矩阵。一个可学习的标量控制状态演化速率，使稀疏和密集事件流能够实现差异化建模。其次，我们开发了门控投影融合(GPF)模块，用于稳健的跨模态集成。该模块将 RGB 特征投射到事件特征空间，并从事件密度和 RGB 置信度生成自适应门控。这些门控精确控制融合强度，抑制噪声同时保留互补信息。实验表明，MambaTrack 在 FE108 和 FELT 数据集上实现了最先进的性能。其轻量级设计表明其可能用于实时嵌入式部署。
引用
@article{arxiv.2604.13426,
title = {Event-Adaptive State Transition and Gated Fusion for RGB-Event Object Tracking},
author = {Jinlin You and Muyu Li and Xudong Zhao},
journal= {arXiv preprint arXiv:2604.13426},
year = {2026}
}