面向高效 Transformer 目标跟踪的通用压缩框架
摘要
以往的工作尝试通过轻量级架构设计或从教师模型到紧凑学生跟踪器进行知识蒸馏来提高跟踪效率，但这些解决方案往往在速度与精度之间牺牲显著精度，并且存在训练过程复杂和结构受限等问题。因此，我们提出了一种用于高效 Transformer 目标跟踪的通用模型压缩框架，命名为 CompressTracker，以在保持跟踪精度的同时缩小模型规模。我们的方法具有 novel stage division strategy（ novel 分阶段策略），将教师模型的 Transformer 层划分为多个 distinct stages（ distinct 分阶段），以突破模型结构的限制。此外，我们还设计了独特的 replacement training（ 替换训练）技术，随机替换学生模型中特定阶段的模块，以取代学生模型独立训练的方式。替换训练增强了学生模型复制教师模型行为的能力，并简化了训练过程。为进一步迫使学生模型模拟教师模型，我们引入 prediction guidance（预测引导）和 stage-wise feature mimicking（分阶段特征模仿），在教师模型压缩过程中提供额外的监督。CompressTracker 是结构agnostic（结构agnostic）的，能够与任何 Transformer 架构兼容。我们进行了一系列实验以验证 CompressTracker 的有效性和通用性。我们的 CompressTracker-SUTrack 由 SUTrack 压缩而来，在 LaSOT 数据集上保留约 99% 的性能（72.2 AUC），同时实现了 2.42 倍的加速。代码已公开于 https://github.com/LingyiHongfd/CompressTracker。
关键词
引用
@article{arxiv.2409.17564,
title = {General Compression Framework for Efficient Transformer Object Tracking},
author = {Lingyi Hong and Jinglun Li and Xinyu Zhou and Shilin Yan and Pinxue Guo and Kaixun Jiang and Zhaoyu Chen and Shuyong Gao and Runze Li and Xingdong Sheng and Wei Zhang and Hong Lu and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2409.17564},
year = {2025}
}
备注
Accepted to ICCV 2025