基于模态提示的时间自适应RGBT跟踪
计算机视觉与模式识别
2024-01-03 v1
摘要
RGBT跟踪已广泛应用于机器人、监控处理和自动驾驶等领域。现有RGBT跟踪器充分探索模板与搜索区域之间的空间信息，并基于外观匹配结果定位目标。然而，这些RGBT跟踪器对时间信息的利用非常有限，要么忽略时间信息，要么通过在线采样和训练来利用。前者难以应对目标状态变化，后者忽略了空间与时间信息之间的相关性。为了缓解这些限制，我们提出了一种新颖的时间自适应RGBT跟踪框架，称为TATrack。TATrack具有时空双流结构，并通过在线更新模板捕获时间信息，其中双流结构分别针对初始模板和在线更新模板进行多模态特征提取和跨模态交互。TATrack有助于全面利用时空信息和多模态信息进行目标定位。此外，我们设计了一种时空交互（STI）机制，连接两个分支并使跨模态交互跨越更长时间尺度。在三个流行的RGBT跟踪基准上的大量实验表明，我们的方法实现了最先进的性能，同时以实时速度运行。
引用
@article{arxiv.2401.01244,
title = {Temporal Adaptive RGBT Tracking with Modality Prompt},
author = {Hongyu Wang and Xiaotao Liu and Yifan Li and Meng Sun and Dian Yuan and Jing Liu},
journal= {arXiv preprint arXiv:2401.01244},
year = {2024}
}