AnthroTAP：基于真实人体运动的点跟踪学习

点跟踪模型通常难以泛化到真实视频，因为大规模训练数据主要是合成的——这是目前唯一可大规模获取的数据源。然而，收集真实世界标注成本极高，因为需要在帧间跟踪数百个点。我们提出 AnthroTAP，一个从真实人体运动视频生成大规模伪标注点跟踪数据的自动化流水线。利用人体运动的结构化复杂性——非刚性变形、关节运动和频繁遮挡——AnthroTAP 对检测到的人体拟合 Skinned Multi-Person Linear (SMPL) 模型，将网格顶点投影到图像平面，通过光线投射解决遮挡，并利用光流一致性过滤不可靠轨迹。在 AnthroTAP 数据集上训练的模型在 TAP-Vid 上达到最先进性能——一个具有挑战性的通用领域基准，用于跟踪各种刚体和非刚体物体（如人类、动物、机器人和车辆）上的任意点。我们的方法优于在更大真实数据集上训练的近期自训练方法，同时仅需 4 GPU 训练一天。AnthroTAP 表明结构化人体运动为点跟踪提供了可扩展且有效的真实世界监督来源。