学习频率和记忆感知的多模态对象跟踪提示
计算机视觉与模式识别
2025-10-02 v2
摘要
基于提示学习的多模态跟踪器通过使用轻量级视觉适配器将辅助模态线索注入到冻结的基础模型中,取得了显著进展。然而,它们仍未充分利用两个必需品:模态特定的频率结构和长程时间依赖性。我们提出学习频率和记忆感知的提示,一个双适配器框架将轻量级提示注入到冻结的RGB跟踪器中。频率引导的视觉适配器通过联合校准空间、通道和频率组件,在不进行完整微调的情况下传递跨模态的互补线索,缩小模态差距。多级记忆适配器包含短期、长期和永久记忆存储,更新和检索可靠的时序上下文,在帧之间实现一致的传播,并对遮挡、运动模糊和光照变化具有鲁棒性。这种统一设计保留了提示学习的效率,同时增强了跨模态交互和时序一致性。在RGB-热、RGB-深度和RGB-事件基准测试中进行了大量实验,显示在完全微调和适配器基线之上持续实现最先进结果,同时在参数效率和运行时方面表现良好。代码和模型可在 https://github.com/xuboyue1999/mmtrack.git 获取。
引用
@article{arxiv.2506.23972,
title = {Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking},
author = {Boyue Xu and Ruichao Hou and Tongwei Ren and Dongming zhou and Gangshan Wu and Jinde Cao},
journal= {arXiv preprint arXiv:2506.23972},
year = {2025}
}