基于多模态互提示学习的 RGB-T 跟踪
计算机视觉与模式识别
2023-09-01 v1
摘要
基于可见光与热红外图像融合的目标跟踪，即 RGB-T 跟踪，近年来受到研究者越来越多的关注。如何以更少的计算成本实现两种模态信息的更全面融合，一直是研究者探索的问题。近来，随着提示学习在计算机视觉中的兴起，我们可以更好地将知识从视觉大模型迁移到下游任务。考虑到可见光与热红外模态间的强互补性，我们提出了一种基于两模态间互提示学习的跟踪架构。我们还设计了一个轻量提示器，在两个维度上结合注意力机制，以更低的计算成本将信息从一种模态迁移到另一种模态，并将其嵌入到骨干网络的每一层中。大量实验表明，我们提出的跟踪架构有效且高效，在保持高运行速度的同时取得了 SOTA 性能。
引用
@article{arxiv.2308.16386,
title = {RGB-T Tracking via Multi-Modal Mutual Prompt Learning},
author = {Yang Luo and Xiqing Guo and Hui Feng and Lei Ao},
journal= {arXiv preprint arXiv:2308.16386},
year = {2023}
}
备注
9 pages, 5 figures, 5 tables