SwiTrack：用于跨模态对象跟踪的三状态开关
计算机视觉与模式识别
2025-11-21 v1
摘要
跨模态对象跟踪 (CMOT) 是一种新兴任务，需在视频流在不同模态之间切换时保持目标一致性，主要关注 RGB-近红外 (RGB-NIR)跟踪。现有方法通常将平行的 RGB 与 NIR 分支连接到共享 backbone，限制了对特定模态特征的全面提取，同时未能解决目标漂移问题，尤其在不可靠输入时更甚者。本文提出 SwiTrack，一种新颖的状态切换框架，通过部署三个专用流来重新定义 CMOT。具体而言，RGB 帧由视觉编码器处理，而 NIR 帧经 NIR 门控适配器配合视觉编码器进行细化，以逐步校准共享潜在特征空间，从而获得更稳健的跨模态表征。对于无效模态，一致性轨迹预测模块利用时空线索估计目标运动，确保稳健跟踪并减轻漂移。此外，我们采用动态模板重建迭代更新模板特征，并引入相似度对齐损失强化特征一致性。实验在最新基准测试上表明，我们的跟踪器实现了最先进的性能，将精度提升 7.2%，成功率提升 4.3%，同时保持 65 帧/秒的实时跟踪。代码与模型已公开于 https://github.com/xuboyue1999/SwiTrack.git。
引用
@article{arxiv.2511.16227,
title = {SwiTrack: Tri-State Switch for Cross-Modal Object Tracking},
author = {Boyue Xu and Ruichao Hou and Tongwei Ren and Dongming Zhou and Gangshan Wu and Jinde Cao},
journal= {arXiv preprint arXiv:2511.16227},
year = {2025}
}