用于 Transformer 跟踪的优化信息流
计算机视觉与模式识别
2024-02-14 v1
摘要
单流 Transformer 跟踪器在过去三年中在具有挑战性的基准数据集上展现出了卓越的性能，因为它们能够在目标模板和搜索区域 token 之间进行交互，以通过相互引导提取面向目标的特征。以往的方法允许模板和搜索 token 之间自由的双向信息流，而没有研究其对跟踪器判别能力的影响。在本研究中，我们对 token 的信息流进行了详细研究，并基于这些发现，提出了一种新颖的优化信息流跟踪（OIFTrack）框架，以增强跟踪器的判别能力。所提出的 OIFTrack 在早期的编码器层中阻断了从所有搜索 token 到目标模板 token 的交互，因为搜索区域中大量的非目标 token 削弱了目标特定特征的重要性。在所提出跟踪器的较深编码器层中，搜索 token 被划分为目标搜索 token 和非目标搜索 token，允许从目标搜索 token 到模板 token 的双向流，以捕获目标的外观变化。此外，由于所提出的跟踪器结合了动态背景线索，通过捕获目标的周围信息成功地避免了干扰物体。OIFTrack 在具有挑战性的基准测试中表现出色，特别是在单目标跟踪基准 GOT-10k 上表现优异，实现了 74.6\% 的平均重叠率。本工作的代码、模型和结果可在 \url{https://github.com/JananiKugaa/OIFTrack} 获取。
关键词
引用
@article{arxiv.2402.08195,
title = {Optimized Information Flow for Transformer Tracking},
author = {Janani Kugarajeevan and Thanikasalam Kokul and Amirthalingam Ramanan and Subha Fernando},
journal= {arXiv preprint arXiv:2402.08195},
year = {2024}
}