基于中层融合和多阶段、多形式提示的鲁棒RGB-T跟踪
计算机视觉与模式识别
2024-05-13 v2
摘要
RGB-T跟踪作为对象跟踪的关键下游任务，近年来取得了显著进展。然而，它仍面临两个主要挑战：1）性能与效率之间的权衡；2）训练数据的稀缺。为解决后者挑战，一些最近的方法利用提示（prompt）对预训练的RGB跟踪模型进行微调，以参数高效的方式利用上游知识。然而，这些方法不充分地探索模式无关性特征，忽略了开放场景中不同模态动态可靠性。在本文中，我们提出了M3PT（Middle Fusion and Multi-Stage, Multi-Form Prompts for Robust RGB-T Tracking），一种新的RGB-T提示跟踪方法，利用中层融合和多模态、多阶段视觉提示来克服这些挑战。我们首次提出可调节的中层融合元框架用于RGB-T跟踪，有助于平衡跟踪器的性能与效率，以满足各种应用需求。基于该元框架，我们利用多种灵活的提示策略，以适应预训练模型在单模态模式的全面探索以及在多样化模态优先场景中改进融合模态特征的建模，充分发挥提示学习在RGB-T跟踪中的潜力。在6个现有具有挑战性的基准数据集上进行评估，我们的方法在保持卓越竞争力的同时，超过了以往的最先进提示微调方法，仅使用0.34M可微调参数。
引用
@article{arxiv.2403.18193,
title = {Middle Fusion and Multi-Stage, Multi-Form Prompts for Robust RGB-T Tracking},
author = {Qiming Wang and Yongqiang Bai and Hongxing Song},
journal= {arXiv preprint arXiv:2403.18193},
year = {2024}
}