基于目标感知数据合成的自监督跟踪
计算机视觉与模式识别
2023-01-02 v3
摘要
尽管基于深度学习的跟踪方法已取得显著进展，但它们需要大规模、高质量的标注数据以进行充分训练。为消除昂贵且详尽的标注工作，我们研究视觉跟踪中的自监督学习。本工作中，我们提出裁剪-变换-粘贴（Crop-Transform-Paste）操作，能够通过模拟跟踪过程中各种表观变化（包括目标表观变化与背景干扰）来合成充足的训练数据。由于在合成数据中目标状态已知，现有深度跟踪器可使用合成数据以常规方式训练而无需人工标注。所提出的目标感知数据合成方法可在自监督学习框架内适配现有跟踪方法而无需算法改动。因此，所提出的自监督学习机制可无缝集成到现有跟踪框架中以执行训练。大量实验表明，我们的方法：1）在标注有限的情况下取得优于监督学习方案的性能；2）因其可操控性有助于应对目标形变、遮挡或背景杂乱等多种跟踪挑战；3）优于最先进的（SOTA）无监督跟踪方法；4）提升了包括 SiamRPN++、DiMP 和 TransT 在内的多种最先进监督学习框架的性能。
引用
@article{arxiv.2106.10900,
title = {Self-Supervised Tracking via Target-Aware Data Synthesis},
author = {Xin Li and Wenjie Pei and Yaowei Wang and Zhenyu He and Huchuan Lu and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2106.10900},
year = {2023}
}
备注
11 pages, 7 figures, Accepted by IEEE Transactions on Neural Networks and Learning Systems