中文

NT-VOT211:面向夜间视觉目标跟踪的大规模基准

计算机视觉与模式识别 2024-10-29 v1 人工智能

摘要

许多当前的视觉目标跟踪基准(如 OTB100、NfS、UAV123、LaSOT 和 GOT-10K)主要包含白天场景,而夜间带来的挑战则较少被研究。这主要是因为缺乏一个大规模、标注良好的夜间基准来严格评估跟踪算法。为此,本文提出了 NT-VOT211,这是一个专为在具有挑战性的夜间条件下评估视觉目标跟踪算法而定制的新基准。NT-VOT211 包含 211 个多样化的视频,提供 211,000 帧标注良好的图像,具有 8 种属性,包括相机运动、形变、快速运动、运动模糊、微小目标、干扰物、遮挡和视野外。据我们所知,这是迄今为止最大的夜间跟踪基准,专门设计用于应对夜间跟踪场景中固有的独特挑战,如不良能见度、图像模糊和干扰物。通过对 42 种不同跟踪算法在 NT-VOT211 上的结果进行全面分析,我们揭示了这些算法的优势和局限性,突出了视觉目标跟踪的改进机会,特别是在光照条件欠佳的环境中。此外,用于展示性能排名的排行榜、标注工具、全面的元信息以及复现结果所需的所有代码均已公开提供。我们相信,我们的 NT-VOT211 基准不仅将有助于促进 VOT 算法的现场部署,还将有助于 VOT 的改进,并将解锁新的现实世界跟踪应用。我们的数据集和其他资源可在以下地址找到:{https://github.com/LiuYuML/NV-VOT211。

关键词

引用

@article{arxiv.2410.20421,
  title  = {NT-VOT211: A Large-Scale Benchmark for Night-time Visual Object Tracking},
  author = {Yu Liu and Arif Mahmood and Muhammad Haris Khan},
  journal= {arXiv preprint arXiv:2410.20421},
  year   = {2024}
}

备注

Oral Acceptance at the Asian Conference on Computer Vision (ACCV) 2024, Hanoi, Vietnam