第一人称视觉中的视觉目标跟踪

对人类-物体交互的理解在第一人称视觉（FPV）中是基础性的。跟踪由相机佩戴者操控的物体的视觉跟踪算法可提供有用信息，以有效建模此类交互。近年来，计算机视觉界已显著提升了针对大量目标物体与场景的跟踪算法性能。尽管此前已有若干尝试在 FPV 领域利用跟踪器，但对最先进跟踪器性能的系统性分析仍然缺失。这一研究空白引发了这样的问题：当前方案能否“开箱即用”，还是应进行更多领域特定的研究。本文旨在为这些问题提供解答。我们提出了首个针对 FPV 中单目标跟踪的系统性研究。我们的研究广泛分析了 42 种算法的性能，包括通用目标跟踪器与基线 FPV 特定跟踪器。该分析通过关注 FPV 设置的不同方面、引入新的性能度量、并联系 FPV 特定任务来展开。该研究得益于 TREK-150 的引入而成为可能，这是一个由 150 段密集标注视频序列组成的新型基准数据集。我们的结果表明，FPV 中的目标跟踪给当前视觉跟踪器带来了新挑战。我们强调了导致此类行为的因素，并指出了可能的研究方向。尽管存在困难，我们证明了跟踪器能为需要短期目标跟踪的 FPV 下游任务带来益处。我们预期随着新的及 FPV 特定的方法被研究，通用目标跟踪将在 FPV 中日益普及。