无监督学习精准孪生网络跟踪
计算机视觉与模式识别
2022-04-05 v1 人工智能
摘要
无监督学习已在包括视觉目标跟踪在内的多种计算机视觉任务中流行。然而，先前的无监督跟踪方法严重依赖来自模板-搜索对的空间监督，且仍无法长时间跟踪具有强烈变化的物体。由于通过沿时间循环跟踪视频可获得无限的自监督信号，我们研究通过前向-后向跟踪视频来演化一个孪生（Siamese）跟踪器。我们提出了一种新颖的无监督跟踪框架，其中我们可在分类分支与回归分支上同时学习时间对应。具体而言，为了在前向传播过程中传播可靠的模板特征，使跟踪器能在循环中训练，我们首先提出了一种一致性传播变换。接着我们指出了常规循环训练在后向传播过程中存在的病态惩罚问题。因此，提出了一种可微区域掩码，用于选择特征并隐式惩罚中间帧上的跟踪误差。此外，由于噪声标签可能降低训练质量，我们提出了一种掩码引导的损失重加权策略，基于伪标签的质量分配动态权重。在大量实验中，我们的跟踪器大幅优于先前的无监督方法，在 TrackingNet 和 LaSOT 等大规模数据集上表现与有监督方法相当。代码见 https://github.com/FlorinShum/ULAST。
引用
@article{arxiv.2204.01475,
title = {Unsupervised Learning of Accurate Siamese Tracking},
author = {Qiuhong Shen and Lei Qiao and Jinyang Guo and Peixia Li and Xin Li and Bo Li and Weitao Feng and Weihao Gan and Wei Wu and Wanli Ouyang},
journal= {arXiv preprint arXiv:2204.01475},
year = {2022}
}
备注
13 pages, 7 figures, to appear in CVPR 2022