从模态有效性角度重访 RGBT 跟踪基准：新基准、问题与解决方案
计算机视觉与模式识别
2026-03-18 v3
摘要
RGBT 跟踪因其在多模态有效性场景（如夜间和恶劣天气条件下）的鲁棒性而受到日益关注，在此类场景中，仅依赖单一感知模态无法确保稳定的跟踪结果。然是，现有基准主要包含在常见场景收集的视频，其中 RGB 和热红外（TIR）信息质量都足够。这削弱了现有基准在严苛成像条件下的代表性，导致在多模态有效性场景中出现跟踪失败。为弥合这一差距，我们提出了一个考虑模态有效性的新基准，MV-RGBT，专为多模态有效性场景收集，其中要么 RGB（极端照明）要么 TIR（热容许）模态无效。因此进一步划分为两个子集，根据有效模态，为评估提供新的组成视角，为未来设计提供宝贵的见解。此外，MV-RGBT 是其类型的多样性最高的基准，涵盖 36 种不同物体类别，跨越 19 个不同场景。鉴于多模态有效性场景中的严苛成像条件，提出了一个新的问题，即在 RGBT 跟踪中“何时融合”，以刺激此类场景下融合策略的发展。为便于讨论，我们提出了一种采用专家混合的新解决方案，称为 MoETrack，其中每个专家生成独立的跟踪结果并附带置信度分数。大量结果表明，MV-RGBT 在推动 RGBT 跟踪方面具有巨大的潜力，并得出融合并非总是有益的结论，尤其是在多模态有效性场景中。此外，MoETrack 在多个基准上实现了最佳结果，包括 MV-RGBT、GTOT 和 LasHeR。Github: https://github.com/Zhangyong-Tang/MVRGBT。
引用
@article{arxiv.2405.00168,
title = {Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Solution},
author = {Zhangyong Tang and Tianyang Xu and Zhenhua Feng and Xuefeng Zhu and Chunyang Cheng and Xiao-Jun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2405.00168},
year = {2026}
}