模态缺失的RGBT跟踪：可逆提示学习与高质量基准
计算机视觉与模式识别
2024-12-31 v4
摘要
当前的RGBT跟踪研究依赖于完整的多模态输入，但由于热传感器自校准和数据传输错误等因素，模态信息可能会缺失，本文称之为模态缺失挑战。为应对这一挑战，我们提出了一种新颖的可逆提示学习方法，该方法将内容保持提示集成到训练良好的跟踪模型中，以适应各种模态缺失场景，从而实现鲁棒的RGBT跟踪。针对一种模态缺失场景，我们提出利用可用模态生成缺失模态的提示，以适应RGBT跟踪模型。然而，可用模态与缺失模态之间的跨模态差距通常会导致提示生成中的语义失真和信息丢失。为解决这个问题，我们设计了可逆提示器，通过从生成的提示中完全重建输入的可用模态来减少失真。为了提供一个全面的评估平台，我们构建了几个高质量的基准数据集，其中考虑了各种模态缺失场景以模拟真实世界的挑战。在三个模态缺失基准数据集上的大量实验表明，与最先进的方法相比，我们的方法实现了显著的性能提升。我们已在以下网址发布了代码和仿真数据集：\href{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}。
引用
@article{arxiv.2312.16244,
title = {Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks},
author = {Andong Lu and Jiacong Zhao and Chenglong Li and Jin Tang and Bin Luo},
journal= {arXiv preprint arXiv:2312.16244},
year = {2024}
}
备注
Accepted by IJCV2024