LoReTrack：高效精准的低分辨率 Transformer 跟踪
计算机视觉与模式识别
2024-05-29 v1
摘要
高性能 Transformer 跟踪器取得了优异的结果，但往往承担沉重的计算负担。观察到较小的输入可立即且便捷地减少计算量而不改变模型，因此采用低分辨率输入进行高效 Transformer 跟踪是一种简便的解决方案。尽管更快，但这会因低分辨率跟踪中的信息损失而显著损害跟踪精度。本文旨在通过来自冻结的高分辨率（但不是更大）Transformer 跟踪器的双向知识蒸馈来缓解此信息损失，从而提升低分辨率 Transformer 跟踪的性能。核心在于两个简单而有效的蒸馈模块，包括查询-键-值知识蒸馈（QKV-KD）和判别知识蒸馈（Disc-KD），跨分辨率进行。前者从全局视角允许低分辨率跟踪器继承来自高分辨率跟踪器的特征和交互；后者从目标感知视角通过模仿其高分辨率 counterparts 的判别性区域来增强目标-背景区分能力。通过双向知识蒸馈，我们的低分辨率 Transformer 跟踪器（LoReTrack）不仅因计算量减少而具有高效率，还通过从高分辨率跟踪器蒸馈知识而提升精度。在大量实验中，LoReTrack 使用 256x256 分辨率时始终优于相同分辨率的基线模型，并在与 384x384 高分辨率 Transformer 跟踪器相当甚至更好地表现，同时快 52%，节省 56% 的 MAC。此外，LoReTrack 支持分辨率可扩展。以 128x128 分辨率运行时，在 CPU 上可达 25 fps，在 LaSOT/LaSOText 上分别达到 64.9%/46.4% 的 SUC 分数，超越所有其他 CPU 实时跟踪器。代码将予以发布。
引用
@article{arxiv.2405.17660,
title = {LoReTrack: Efficient and Accurate Low-Resolution Transformer Tracking},
author = {Shaohua Dong and Yunhe Feng and Qing Yang and Yuewei Lin and Heng Fan},
journal= {arXiv preprint arXiv:2405.17660},
year = {2024}
}