BTMTrack: 通过双模板桥接和时间-模态候选消除实现鲁棒的RGB-T跟踪
计算机视觉与模式识别
2025-01-22 v3
摘要
RGB-T跟踪利用RGB和热红外(TIR)模态的互补优势来处理低光照和恶劣天气等挑战性场景。然而，现有方法通常无法有效整合时间信息并进行高效的跨模态交互，这限制了它们对动态目标的适应性。本文提出BTMTrack，一种新颖的RGB-T跟踪框架。我们方法的核心在于双模板骨干网络和时间-模态候选消除(TMCE)策略。双模板骨干有效整合了时间信息，而TMCE策略通过评估时间和模态相关性将模型聚焦于目标相关的token，减少了计算开销并避免了无关背景噪声。在此基础上，我们提出了时间双模板桥接(TDTB)模块，该模块通过动态过滤的token实现精确的跨模态融合。这种方法进一步增强了模板与搜索区域之间的交互。在三个基准数据集上进行的大量实验证明了BTMTrack的有效性。我们的方法达到了最先进的性能，在LasHeR测试集上实现了72.3%的精确率，并在RGBT210和RGBT234数据集上取得了有竞争力的结果。
引用
@article{arxiv.2501.03616,
title = {BTMTrack: Robust RGB-T Tracking via Dual-template Bridging and Temporal-Modal Candidate Elimination},
author = {Zhongxuan Zhang and Bi Zeng and Xinyu Ni and Yimin Du},
journal= {arXiv preprint arXiv:2501.03616},
year = {2025}
}