WebUOT-1M:基于百万规模基准推进深海目标跟踪
计算机视觉与模式识别
2024-05-31 v1 人工智能
摘要
underwater object tracking(UOT)是识别和追踪水下视频序列中浸没实体的基础任务。然而,当前UOT数据集在规模、目标类别和覆盖场景方面存在局限,阻碍了现代跟踪算法的训练和评估。为弥合这一差距,我们首次引入WebUOT-1M,即目前规模最大的公开UOT基准,源自复杂且真实的水下环境。该数据集包含110万帧,覆盖1500个视频剪辑,涵盖408个目标类别,显著超过以往UOT数据集(如UVOT400)。通过严格的人工标注和验证,我们提供了水下目标的高质量边界框。此外,WebUOT-1M包括视频序列的语言提示,拓展了其应用领域(如水下视觉语言跟踪)。大多数现有跟踪器针对户外环境设计,导致在UOT中应用时性能下降。由于样本不平衡和有限的真实水下数据集,重新训练和微调这些跟踪器颇具挑战。为应对这些挑战,我们提出了一种新型的全知知识蒸馏框架,基于WebUOT-1M,包含各种策略来指导学生Transformer的学习。据我们所知,这是首个通过知识蒸馏有效地将户外域知识传递给UOT模型的方法,已在现有UOT数据集和新提出的WebUOT-1M上验证。此外,我们全面评估了WebUOT-1M使用30个深度跟踪器,展示了其作为UOT研究基准的价值,呈现了面向未来研究的新挑战和机遇。完整的数据集、代码和跟踪结果将公开提供。
关键词
引用
@article{arxiv.2405.19818,
title = {WebUOT-1M: Advancing Deep Underwater Object Tracking with A Million-Scale Benchmark},
author = {Chunhui Zhang and Li Liu and Guanjie Huang and Hao Wen and Xi Zhou and Yanfeng Wang},
journal= {arXiv preprint arXiv:2405.19818},
year = {2024}
}
备注
GitHub project: https://github.com/983632847/Awesome-Multimodal-Object-Tracking