从全局表示记忆中读取相关特征用于视觉目标跟踪
计算机视觉与模式识别
2024-02-28 v3
摘要
来自模板或历史帧的参考特征对于视觉目标跟踪至关重要。先前的工作利用固定模板或记忆中的所有特征进行视觉目标跟踪。然而，由于视频的动态特性，不同时间步的不同搜索区域所需的参考历史信息也是一致的。因此，使用模板和记忆中的所有特征可能导致冗余并损害跟踪性能。为缓解这一问题，我们提出了一种新的跟踪范式，由相关性注意力机制和全局表示记忆组成，能够自适应地协助搜索区域从参考特征中选择最相关的历史信息。具体而言，本文提出的相关性注意力机制与以往方法不同，它可以通过全局访问跨帧信息，动态地为当前帧选择并构建最优的全局表示记忆。此外，它可以灵活地从构建的记忆中读取相关的历史信息，以减少冗余并抵消有害信息的负面影响。大量实验验证了所提方法的有效性，在五个具有挑战性的数据集上取得了具有竞争力的性能，帧率达到 71 FPS。
引用
@article{arxiv.2402.14392,
title = {Reading Relevant Feature from Global Representation Memory for Visual Object Tracking},
author = {Xinyu Zhou and Pinxue Guo and Lingyi Hong and Jinglun Li and Wei Zhang and Weifeng Ge and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2402.14392},
year = {2024}
}
备注
9pages,5 figures, accepted by the Thirty-seventh Conference on Neural Information Processing Systems(Neurips 2023)