UBATrack：面向通用多模态跟踪的时空状态空间模型
计算机视觉与模式识别
2026-01-22 v1
摘要
多模态目标跟踪通过整合多种互补输入（如热红外、深度和事件数据）以实现卓越性能，引起了广泛关注。尽管当前通用的多模态跟踪器主要通过提示学习统一各种模态的跟踪任务（即 RGB-热红外、RGB-深度或 RGB-事件跟踪），但它们仍然忽视了对时空线索的有效捕获。在本工作中，我们引入了一种基于 mamba 风格状态空间模型的新型多模态跟踪框架，称为 UBATrack。我们的 UBATrack 包含两个简单而有效的模块：时空 Mamba 适配器（STMA）和动态多模态特征混合器。前者利用 Mamba 的长序列建模能力，以适配器微调的方式联合建模跨模态依赖关系和时空视觉线索。后者进一步在多个特征维度上增强多模态表示能力，以提高跟踪鲁棒性。通过这种方式，UBATrack 消除了昂贵的全参数微调需求，从而提高了多模态跟踪算法的训练效率。实验表明，UBATrack 在 RGB-T、RGB-D 和 RGB-E 跟踪基准上优于现有方法，在 LasHeR、RGBT234、RGBT210、DepthTrack、VOT-RGBD22 和 VisEvent 数据集上取得了出色的结果。
引用
@article{arxiv.2601.14799,
title = {UBATrack: Spatio-Temporal State Space Model for General Multi-Modal Tracking},
author = {Qihua Liang and Liang Chen and Yaozong Zheng and Jian Nong and Zhiyi Mo and Bineng Zhong},
journal= {arXiv preprint arXiv:2601.14799},
year = {2026}
}