SUTrack：面向简单统一的单对象跟踪
计算机视觉与模式识别
2024-12-30 v1 机器学习
摘要
本文提出一种简单且统一的单对象跟踪 (SOT) 框架，命名为 SUTrack。它将五类 SOT 任务 (基于 RGB、RGB-Depth、RGB-Thermal、RGB-Event、RGB-Language Tracking) 集成到一个统一模型中进行单次训练。由于数据性质不同，现有方法通常为每个任务设计独立的网络结构并单独训练模型，这导致训练过程冗余、技术创新重复且跨模态知识共享有限。相比之下，SUTrack 证明了单个具有统一输入表示的模型能够有效处理各种常见 SOT 任务，无需任务特定设计和独立训练。此外，我们引入任务识别辅助训练策略和软 token 类型嵌入，以最小开销进一步提升 SUTrack 的性能。实验表明，SUTrack 在跨越五类任务的 11 个数据集上均优于以往任务特定方法。我们还提供面向边缘设备和高性能 GPU 的多种模型，实现速度与精度之间的良好平衡。我们期待 SUTrack 能为进一步优秀的统一跟踪模型研究提供强大的基础。代码和模型已发布于 github.com/chenxin-dlut/SUTrack。
引用
@article{arxiv.2412.19138,
title = {SUTrack: Towards Simple and Unified Single Object Tracking},
author = {Xin Chen and Ben Kang and Wanting Geng and Jiawen Zhu and Yi Liu and Dong Wang and Huchuan Lu},
journal= {arXiv preprint arXiv:2412.19138},
year = {2024}
}
备注
Accepted by AAAI 2025