EgoTracks：一个长期第一人称视觉目标跟踪数据集
计算机视觉与模式识别
2023-10-03 v5
摘要
视觉目标跟踪是许多第一人称视觉问题的关键组成部分。然而，具身 AI 所面临的第一人称跟踪挑战的全谱在现有许多数据集中未被充分代表；这些数据集往往聚焦于相对简短的第三人称视频。第一人称视频与过去数据集中常见的视频有若干区别性特征：频繁的大幅度相机运动与手对物体的交互通常导致遮挡或物体移出画面，且由于视角、尺度或物体状态差异巨大，物体外观可快速变化。具身跟踪本质上也是长期的，能够在一生之久的尺度上一致地（重新）将物体与其出现与消失相关联至关重要。先前的数据集低估了这一重新检测问题，且其“取景”性质导致了各种时空先验的采用，我们发现这些先验未必能推广到第一人称视频。因此我们引入 EgoTracks，一个用于长期第一人称视觉目标跟踪的新数据集。该数据集取材于 Ego4D 数据集，对近期 SOTA 单目标跟踪模型提出了显著挑战，我们发现相较于流行基准，这些模型在我们的新数据集传统跟踪指标上得分很低。我们进一步展示了对 STARK 跟踪器可做的改进，以显著提升其在第一人称数据上的性能，得到了一个称为 EgoSTARK 的基线模型。我们公开发布标注与基准，希望我们的数据集能推动跟踪领域的进一步进展。
引用
@article{arxiv.2301.03213,
title = {EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset},
author = {Hao Tang and Kevin Liang and Matt Feiszli and Weiyao Wang},
journal= {arXiv preprint arXiv:2301.03213},
year = {2023}
}