SOTVerse:单目标跟踪的用户自定义任务空间
计算机视觉与模式识别
2023-11-08 v2
摘要
单目标跟踪(SOT)研究陷入了一个循环——跟踪器在大多数基准上表现良好,但在挑战性场景中迅速失败,导致研究者怀疑是数据内容不足,并付出更多努力构建具有更具挑战性情况的更大数据集。然而,低效的数据利用和有限的评估方法更严重地阻碍了SOT研究。前者导致现有数据集无法被充分利用,而后者在评估过程中忽视了挑战性因素。在本文中,我们系统化代表性基准并形成一个单目标跟踪元宇宙(SOTVerse)——一个用于突破瓶颈的用户自定义SOT任务空间。我们首先提出一个3E范式,通过三个组件(即环境、评估和执行器)来描述任务。然后,我们总结任务特征、厘清组织标准,并构建了拥有1256万帧的SOTVerse。具体而言,SOTVerse逐帧自动标注挑战性因素,允许用户通过构建规则高效生成用户自定义空间。此外,SOTVerse提供带有新指标的两套机制,并成功在各种子任务下评估跟踪器。因此,SOTVerse首次提供了一种提升计算机视觉领域资源利用的策略,使研究更加标准化和科学化。SOTVerse、工具包、评估服务器和结果可在 http://metaverse.aitestunion.com 获取。
引用
@article{arxiv.2204.07414,
title = {SOTVerse: A User-defined Task Space of Single Object Tracking},
author = {Shiyu Hu and Xin Zhao and Kaiqi Huang},
journal= {arXiv preprint arXiv:2204.07414},
year = {2023}
}
备注
This paper is submitted to an international journal