基于样本Transformer的高效视觉跟踪
计算机视觉与模式识别
2022-10-05 v4
摘要
更复杂的强大神经网络模型的设计显著推进了视觉目标跟踪的最先进水平。这些进展可归因于更深的网络或新构建模块（如transformer）的引入。然而，在追求更高跟踪性能的过程中，运行时间常受影响。此外，高效跟踪架构受到的关注少得惊人。本文引入样本Transformer，一种利用单层实例级注意力机制实现实时视觉目标跟踪的transformer模块。E.T.Track是我们集成了样本Transformer模块的视觉跟踪器，在CPU上以47 FPS运行，比其他基于transformer的模型快至多8倍。与可在标准CPU上实时运行的轻量跟踪器相比，E.T.Track在LaSOT、OTB-100、NFS、TrackingNet和VOT-ST2020数据集上始终优于所有其他方法。代码和模型见 https://github.com/pblatter/ettrack。
引用
@article{arxiv.2112.09686,
title = {Efficient Visual Tracking with Exemplar Transformers},
author = {Philippe Blatter and Menelaos Kanakis and Martin Danelljan and Luc Van Gool},
journal= {arXiv preprint arXiv:2112.09686},
year = {2022}
}