面向多模态跟踪的提示方法
计算机视觉与模式识别
2022-08-02 v2
摘要
与传统基于 RGB 的跟踪相比，多模态跟踪因在复杂场景中更准确、更鲁棒而受到关注。其关键在于如何融合多模态数据并缩小模态间的差距。然而，多模态跟踪仍严重受限于数据匮乏，从而导致融合模块学习不充分。本文不构建此类融合模块，而是从重视多模态视觉提示的新视角看待多模态跟踪。我们设计了一种新颖的多模态提示跟踪器（ProTrack），可通过提示范式将多模态输入转换为单模态。通过充分利用在大规模数据上预训练的 RGB 跟踪器的跟踪能力，我们的 ProTrack 仅通过改变输入即可实现高性能多模态跟踪，甚至无需在任何多模态数据上额外训练。在 5 个基准数据集上的大量实验证明了所提 ProTrack 的有效性。
引用
@article{arxiv.2207.14571,
title = {Prompting for Multi-Modal Tracking},
author = {Jinyu Yang and Zhe Li and Feng Zheng and Aleš Leonardis and Jingkuan Song},
journal= {arXiv preprint arXiv:2207.14571},
year = {2022}
}
备注
Accepted at ACMMM 2022