TAPVid-3D：用于跟踪三维空间中任意点的基准
计算机视觉与模式识别
2024-08-28 v2 人工智能
机器学习
摘要
我们引入了一个新的基准TAPVid-3D，用于评估长程三维空间中任意点跟踪（TAP-3D）任务。虽然二维点跟踪（TAP）有许多衡量真实世界视频性能的基准，例如TAPVid-DAVIS，但三维点跟踪却没有。为此，利用现有素材，我们构建了一个新的三维点跟踪基准，包含4000多个真实世界视频，由三个不同的数据源组成，涵盖各种对象类型、运动模式以及室内和室外环境。为了衡量TAP-3D任务的性能，我们制定了一套指标，扩展了TAP中使用的基于Jaccard的指标，以处理跨模型、遮挡和多轨迹时空平滑性的模糊深度尺度的复杂性。我们手动验证了大量轨迹样本以确保正确的视频标注，并通过使用现有跟踪模型构建竞争性基线来评估TAP-3D任务的当前状态。我们预计该基准将作为路标，提高我们从单目视频理解精确三维运动和表面变形的能力。数据集下载、生成和模型评估的代码可在https://tapvid3d.github.io获取。
引用
@article{arxiv.2407.05921,
title = {TAPVid-3D: A Benchmark for Tracking Any Point in 3D},
author = {Skanda Koppula and Ignacio Rocco and Yi Yang and Joe Heyward and João Carreira and Andrew Zisserman and Gabriel Brostow and Carl Doersch},
journal= {arXiv preprint arXiv:2407.05921},
year = {2024}
}