X模态辅助RGBT目标跟踪
计算机视觉与模式识别
2025-02-25 v2
摘要
开发鲁棒的多模态特征表示对于提升目标跟踪性能至关重要。为了实现这一目标，我们引入了一种新颖的X模态辅助网络(X-Net)，通过将视觉目标跟踪解耦为三个不同的层次来探索融合范式的影响，从而促进后续处理。首先，为了克服由于RGB和热模态之间的显著差异而带来的特征学习挑战，提出了一种基于知识蒸馏学习的即插即用像素级生成模块(PGM)。该模块有效生成X模态，在最小化噪声干扰的同时弥合两种模式之间的差距。其次，为了优化样本特征表示并促进跨模态交互，引入了特征级交互模块(FIM)，该模块集成了混合特征交互变换器和空间维度特征翻译策略。最后，为了解决由于缺失实例特征而导致的随机漂移问题，提出了一种灵活的在线优化策略，称为决策级细化模块(DRM)，该模块结合了光流和细化机制。通过在三个基准上的实验验证了X-Net的有效性，证明了其优于最先进的跟踪器。值得注意的是，X-Net在精确率和成功率的平均值上分别取得了0.47%/1.2%的性能提升。此外，研究内容、数据和代码承诺在https://github.com/DZSYUNNAN/XNet公开。
引用
@article{arxiv.2312.17273,
title = {X Modality Assisting RGBT Object Tracking},
author = {Zhaisheng Ding and Haiyan Li and Ruichao Hou and Yanyu Liu and Shidong Xie},
journal= {arXiv preprint arXiv:2312.17273},
year = {2025}
}