轻量全卷积孪生跟踪器
计算机视觉与模式识别
2024-01-15 v3
摘要
尽管单目标跟踪器已取得先进性能，其大规模模型阻碍了在资源受限平台上的应用。此外，现有轻量跟踪器仅在参数、性能、Flops 与 FPS 方面取得 2-3 个点的平衡。为在这些指标间实现最优平衡，本文提出一种称为 LightFC 的轻量全卷积孪生跟踪器。LightFC 采用新颖的高效互相关模块（ECM）与新颖的高效重参数化中心头（ERH）来提升卷积跟踪流程的特征表示。ECM 使用类注意力模块设计，对融合特征进行空间与通道线性融合并增强融合特征的非线性。此外，它借鉴当前轻量跟踪器的成功因素，引入跳跃连接与搜索区域特征的复用。ERH 对标准中心头中的特征维度阶段进行重参数化，并引入通道注意力以优化关键特征流的瓶颈。综合实验表明 LightFC 在性能、参数、Flops 与 FPS 间实现了最优平衡。LightFC 的精度分数在 LaSOT 与 TNL2K 上分别超越 MixFormerV2-S 达 3.7% 与 6.5%，同时参数减少 5 倍、Flops 减少 4.6 倍。此外，LightFC 在 CPU 上运行比 MixFormerV2-S 快 2 倍。另外，通过替换更强大的骨干网络，提出了更高性能的版本 LightFC-vit。代码与原始结果见 https://github.com/LiYunfengLYF/LightFC。
引用
@article{arxiv.2310.05392,
title = {Lightweight Full-Convolutional Siamese Tracker},
author = {Yunfeng Li and Bo Wang and Xueyi Wu and Zhuoyan Liu and Ye Li},
journal= {arXiv preprint arXiv:2310.05392},
year = {2024}
}